AI幻觉现象表现 - AI生成内容与可验证事实不符或与上下文缺乏关联，出现凭空捏造和答非所问的情况[1] - 具体案例包括AI虚构推荐书单、提供无法查证的行业市场规模预测数据及错误链接[1][2] - 社交平台上AI幻觉相关话题浏览量达数百万，涉及金融、法律、医疗、学术等多个领域[2] AI幻觉发生频率与影响 - 清华大学新媒沈阳团队报告指出，市场上多个热门大模型在事实性幻觉评测中幻觉率超过19%[2] - 麦可思研究院研究显示，四千余名受访高校师生中，近八成遇到过AI幻觉[2] - AI幻觉已产生实际危害，如国外男子因听从AI建议用有毒溴化钠代替食盐导致溴中毒，以及美国多起律师使用AI生成虚假信息被处分案件[2] AI幻觉产生原因 - 数据污染是主因，训练数据中仅含0.01%虚假文本时，模型有害输出增加11.2%；含0.001%虚假文本时，有害输出上升7.2%[3] - AI技术架构缺乏人类"元认知"能力，无法准确评估自身输出的可信度，仅根据统计规律组合词语[3] - 人为调校干预导致AI为迎合用户需求而编造答案，尤其在创意性任务中事实严谨性权重较低[3][4] 减少AI幻觉的措施 - 中央网信办部署"清朗·整治AI技术滥用"专项行动，重点整治训练语料管理不严和利用AI制作谣言等问题[4][5] - 专家建议优化训练语料，加快线下数据电子化，建立权威公共数据共享平台，加强优质数据筛选[5] - 主流厂商采取技术措施：豆包升级深度思考功能实现边想边搜，通义千问应用强化学习纠正不良行为，元宝引入权威信源进行交叉校验[5] - 建议建立国家级AI安全评测平台，加强生成内容审核和检测鉴伪能力[5]