AI行业应用现状与挑战 - AI已深度融入现代生活，赋能各行各业，从多个维度提供便利 [2] - 截至去年12月，有2.49亿人使用过生成式人工智能产品，占整体人口的17.7% [5] AI幻觉现象及其影响 - AI幻觉指AI生成内容与可验证事实不符或与上下文缺乏关联 [2] - 四千余名受访高校师生中，近八成遇到过AI幻觉 [3] - 市场上多个热门大模型在事实性幻觉评测中幻觉率超过19% [3] - AI幻觉相关话题在社交平台浏览量达数百万，涉及金融、法律、医疗、学术等多个领域 [2] - 具体案例包括AI推荐虚构小说、提供虚假行业预测数据、错误建议使用有毒物质替代食盐导致用户中毒，以及律师在案件中使用AI生成虚假信息被处分 [2][3] AI幻觉产生的原因 - 数据污染：训练数据中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；0.001%的虚假文本也会使有害输出上升7.2% [4] - AI本身认知边界模糊，缺乏元认知能力，无法准确评估自身输出的可信度 [4] - 人为调校和干预导致AI有时为契合用户需求而编造答案，特别是在创意性需求中事实严谨性占比可能较低 [5] 减少AI幻觉的措施 - 中央网信办在全国范围内部署开展"清朗·整治AI技术滥用"专项行动 [5] - 应优化人工智能训练语料，加快推动线下数据电子化，探索建立权威性公共数据共享平台 [6] - 主流厂商已采取技术措施：豆包升级深度思考功能，通义千问应用强化学习，元宝扩充权威信源并进行交叉校验 [6] - 建议建立国家级人工智能安全评测平台，加强AI生成内容审核和检测鉴伪能力 [6] - 公众应客观认识AI局限性，通过改进提示词、限定范围、保持怀疑态度和多渠道验证来避免AI幻觉 [7]