AI幻觉的成因与类型 - AI幻觉指大型语言模型或聊天机器人自信地生成看似流畅、连贯的文本，但其内容与客观事实不符、缺乏数据支撑或完全是捏造的[2] - 生成式AI产生幻觉的根本原因在于其设计目标本质上是生成"统计合理"的文本，而非追求事实真实，模型缺乏辨别真伪的内在认知能力，其目标仅是模仿数据的统计模式[2] - AI生成机制的本质是基于概率的序列预测系统，其核心任务是根据已观察到的词元模式预测最可能的下一个词元，而非最准确的内容，这导致输出准确性具有偶然性[2] - 大语言模型底层运作是纯粹的数学概率计算与符号操作，缺乏元认知能力，无法真正理解语言符号背后的现实意义或因果逻辑，导致其输出经常表现出"一本正经地胡说八道"的特征[3] - 当模型在特定数据集上训练过度时，会陷入"过拟合"状态，导致模型过度记忆训练样本中的噪声，缺乏对核心逻辑的理解，出现系统性偏差与错误预测[3] - 由于训练数据存在固定的"知识截止日期"，对于截止日期之后的新知识，模型会基于现有知识结构进行臆测或编造，从而生成虚假或误导性信息[3] - AI幻觉的具体表现包括捏造事实、逻辑混乱、引用虚假权威以及情境与输出偏差[4] AI幻觉的风险与影响 - AI幻觉对消费者信任构成冲击，产生的错误远比"人为错误"更武断、更缺乏同理心，且难以溯源或追责，直接削弱消费者在人机交互中的控制感和安全感[6] - AI幻觉可能直接造成消费者的人身与财产损失及安全风险，例如在金融服务领域导致用户经济损失，在医疗健康场景中误导患者延误治疗[6] - AI幻觉会重创企业声誉并导致重大财务损失，例如谷歌的Bard聊天机器人捏造事实导致其母公司Alphabet市值损失约1000亿美元，股价暴跌超过8%[7] - 从社会层面看，AI幻觉会助长虚假内容的规模化传播，扰乱公共信息秩序，对社会治理构成系统性挑战[7] - 据数据统计，AI生成的法律幻觉内容在全球已出现近200起司法裁决，仅在美国就有125起，AI聊天机器人产生的内容中有17%~45%被归类为"幻觉"[7] - AI幻觉事件可能构成违法行为，例如律师使用ChatGPT撰写法律简报时，AI系统凭空编造六个不存在的法律判例，导致律师及其律所被处以5000美元罚款[8] - 研究显示一些AI聊天机器人生成虚假新闻事件的几率高达30%，相关技术可能被不法分子利用实施网络诈骗或身份盗用[8] AI幻觉风险的化解路径 - 在技术层面，可通过严格控制数据品质，确保训练数据集多样化、均衡、结构良好，并加以精确标注，从源头消除数据偏差和低品质信息[9] - AI开发者内置安全保障，包括严格设定模型的安全界限以限制过度预测和随意性，以及广泛启用检索增强生成（RAG）技术引入外部可信参考资料[9] - 用户必须以审慎的态度主动干预和验证，以人类的判断力和批判性眼光对待AI输出，并采取多样化手段对AI生成的内容进行交叉验证[10] - 用户在与AI模型交互时必须指令清晰、结构明确，要求AI模型列出推理过程，这种思维链式的提示能迫使模型暴露逻辑漏洞和虚构信息[10] - 应根据任务类型调整模型的创作自由度，在追求精准性的任务中选择更低的自由度模式，在追求创新性的任务中可适当提高自由度[10] 相关法律法规与责任归属 - 中国已出台《生成式AI服务管理暂行办法》要求服务提供者依法履行算法备案与安全评估制度，确保过程透明和安全可控[11] - 治理措施以《互联网信息服务深度合成管理规定》和《AI生成合成内容标识办法》为核心，要求对深度合成内容添加隐式和显式内容标识实现可追溯性[12] - 中央网信办部署了2025年"清朗整治AI技术滥用"专项行动，重点整治未落实内容标识要求、制作发布不实信息或AI谣言等违法违规行为[12] - 利用AI幻觉散布谣言等不法行为可依据《中华人民共和国治安管理处罚法》第二十五条等规定进行处罚[12] - 国际司法实践呈现出强化AI服务提供者责任的趋势，例如德国汉堡地区法院认定聊天机器人散布虚假信息，并对服务提供者颁布临时禁令[12] - AI模型开发者需对训练数据的品质与模型的安全性负责，若因训练数据存在严重偏见或模型设计缺陷导致损害，开发者可能要承担部分法律责任[13] - 用户负有合理使用与审慎核实的义务，若明知AI存在幻觉风险却未对关键信息进行必要核实导致损害发生，也可能要承担相应责任[13]