Workflow
如何看待AI“一本正经地胡说八道”(新知)
人民日报·2025-07-02 05:57

AI幻觉现象 - AI幻觉指大模型生成与事实相悖的内容,如捏造不存在的书名或错误链接 [1] - 42.2%用户反馈AI应用最突出的问题是内容不准确或含虚假信息 [1] AI幻觉成因 - 大模型基于概率生成内容,通过压缩和泛化训练数据来"抓概要、找规律" [2] - 训练数据中的虚假信息会导致模型产生幻觉并输出错误答案 [2] - 中国生成式AI用户达2.49亿人,规模扩大加剧数据污染与算法吸收的恶性循环风险 [2] 行业应对措施 - 文心大模型采用检索信息指导文本生成,提升内容准确性 [3] - 通义大模型加强语料管理,通过红蓝对抗机制识别虚假信息 [3] - 监管部门推动生成合成内容标识落地,加大违规产品处置力度 [3] 技术发展视角 - AI幻觉可被视为发散思维的表现,信息压缩与解压过程可能触发创新 [3] - 需平衡风险防范与技术发展空间,短期内难以彻底解决幻觉问题 [3] - 用户需提升AI素养,学会有效评估和利用大模型输出内容 [3] 行业影响 - AI工具与人类生活的双向影响推动工作方法改进和技术进化 [4] - 解决AI幻觉问题有助于释放技术正向价值,促进千行百业智能化 [4]