AI幻觉的成因与类型 - AI幻觉指大型语言模型或聊天机器人自信地生成看似流畅、连贯的文本，但其内容与客观事实不符、缺乏数据支撑或完全是捏造的[2] - 生成式AI产生幻觉的根本原因在于其设计目标本质上是生成"统计合理"的文本，而非追求事实真实，模型缺乏辨别真伪的内在认知能力，其目标仅是模仿数据的统计模式[2] - AI生成机制的本质是基于概率的序列预测系统，其核心任务是根据已观察到的词元模式预测最可能的下一个词元，而非最准确的内容，这导致输出准确性具有偶然性[2] - 大语言模型底层运作是纯粹的数学概率计算与符号操作，缺乏元认知能力，无法真正理解语言符号背后的现实意义或因果逻辑，导致其输出经常表现出"一本正经地胡说八道"的特征[3] - 当模型在特定数据集上训练过度时，会陷入"过拟合"状态，导致模型过度记忆训练样本中的噪声，缺乏对核心逻辑的理解，出现系统性偏差与错误预测[3] - 由于训练数据存在固定的"知识截止日期"，对于截止日期之后的新知识，模型会基于现有知识结构进行臆测或编造，从而生成虚假或误导性信息[3] - AI幻觉的具体表现包括捏造事实、逻辑混乱、引用虚假权威以及情境与输出偏差[4] AI幻觉的风险与影响 - AI幻觉对消费者信任构成冲击，产生的错误远比"人为错误"更武断、更缺乏同理心，且难以溯源或追责，直接削弱消费者在人机交互中的控制感和安全感[6] - AI幻觉可能直接造成消费者的人身与财产损失及安全风险，例如在金融服务领域导致用户经济损失，在医疗健康场景中误导患者延误治疗[6] - AI幻觉会重创企业声誉并导致重大财务损失，例如谷歌的Bard聊天机器人捏造事实导致其母公司Alphabet市值损失约1000亿美元，股价暴跌超过8%[7] - 从社会层面看，AI幻觉会助长虚假内容的规模化传播，扰乱公共信息秩序，对社会治理构成系统性挑战[7] - 据数据统计，AI生成的法律幻觉内容在全球已出现近200起司法裁决，仅在美国就有125起，AI聊天机器人产生的内容中有17%~45%被归类为"幻觉"[7] - AI幻觉事件可能构成违法行为，例如律师使用ChatGPT撰写法律简报时，AI系统凭空编造六个不存在的法律判例，导致律师及其律所被处以5000美元罚款[8] - 研究显示一些AI聊天机器人生成虚假新闻事件的几率高达30%，相关技术可能被不法分子利用实施网络诈骗或身份盗用[8] AI幻觉风险的化解路径 - 在技术层面，可通过严格控制数据品质，确保训练数据集多样化、均衡、结构良好，并加以精确标注，从源头消除数据偏差和低品质信息[9] - AI开发者内置安全保障，包括严格设定模型的安全界限以限制过度预测和随意性，以及广泛启用检索增强生成（RAG）技术引入外部可信参考资料[9] - 用户必须以审慎的态度主动干预和验证，以人类的判断力和批判性眼光对待AI输出，并采取多样化手段对AI生成的内容进行交叉验证[10] - 用户在与AI模型交互时必须指令清晰、结构明确，要求AI模型列出推理过程，这种思维链式的提示能迫使模型暴露逻辑漏洞和虚构信息[10] - 应根据任务类型调整模型的创作自由度，在追求精准性的任务中选择更低的自由度模式，在追求创新性的任务中可适当提高自由度[10] 相关法律法规与责任归属 - 中国已出台《生成式AI服务管理暂行办法》要求服务提供者依法履行算法备案与安全评估制度，确保过程透明和安全可控[11] - 治理措施以《互联网信息服务深度合成管理规定》和《AI生成合成内容标识办法》为核心，要求对深度合成内容添加隐式和显式内容标识实现可追溯性[12] - 中央网信办部署了2025年"清朗整治AI技术滥用"专项行动，重点整治未落实内容标识要求、制作发布不实信息或AI谣言等违法违规行为[12] - 利用AI幻觉散布谣言等不法行为可依据《中华人民共和国治安管理处罚法》第二十五条等规定进行处罚[12] - 国际司法实践呈现出强化AI服务提供者责任的趋势，例如德国汉堡地区法院认定聊天机器人散布虚假信息，并对服务提供者颁布临时禁令[12] - AI模型开发者需对训练数据的品质与模型的安全性负责，若因训练数据存在严重偏见或模型设计缺陷导致损害，开发者可能要承担部分法律责任[13] - 用户负有合理使用与审慎核实的义务，若明知AI存在幻觉风险却未对关键信息进行必要核实导致损害发生，也可能要承担相应责任[13]

事件概述 - 北京市通州区人民法院在审理一起股权代持引发的商事纠纷案件时，发现原告代理人提交的书面材料中包含了人工智能模型生成的虚假案例 [1][3] - 原告代理人承认其向某人工智能大模型软件提问，并直接复制粘贴了生成的参考案例，未进行真实性核验 [3] - 承办法官在判决中对原告代理人的行为提出批评，并要求其在提交参考案例和法条时进行检查，确保内容真实准确，不得放任人工智能模型生成虚假信息扰乱司法秩序 [3] 事件细节 - 原告代理人在书面意见中援引了虚构的“最高法院案例”及上海一中院的“(2022)沪01民终12345号”案件，其描述的案件事实细节、法律争议与裁判逻辑与审理中的案件高度契合 [3] - 经法官检索核实，上述案号对应的真实案件事实与代理人描述的情况完全不同 [3] - 该事件可能是国内首起公开的人工智能模型幻觉扰乱司法秩序的案例 [4] 行业影响与挑战 - 人工智能工具发展迅速且操作便捷，正迅速改变包括法律部门在内的多个领域，但随之而来的人工智能模型幻觉问题给各领域带来重大挑战 [4] - 人工智能模型会生成不正确、捏造或误导性的信息，并以令人信服的方式呈现，这种幻觉足以蒙蔽大多数人，且目前没有完全有效的解决办法 [4] - 尽管人工智能大模型通常会提示用户不要轻信其生成的内容，且无法为内容的真实性负责，但随着使用频率和普及率提高，这些提示的作用变得有限 [5] 技术特性与使用风险 - 人工智能大模型的生成逻辑基于概率统计与语境匹配，当使用者输入明确案件细节后，其生成的案例往往刻意贴合需求，事实细节和论理结论可能与使用者需求高度重合，呈现人为定制化特征 [5] - 生成的内容越是看起来“称心如意”，使用者越应提高警惕 [5] - 司法活动的核心是“以事实为依据，以法律为准绳”，这里的“事实”包括案件事实和作为先例的裁判事实 [5] 国际先例与应对措施 - 海外已发生多起律师被人工智能“背刺”的案例，例如三名美国律师因在法律文件中引用人工智能生成的虚构案例被罚款3000美元至1000美元不等，其中一人被解职 [4] - 作为使用者，不能过度依赖人工智能工具，二次核查必不可少，不能让工具代替独立思考 [6]

AI幻觉事件概述 - 北京市通州区人民法院披露一起案件，原告代理律师在书面代理意见中援引的两份裁判文书实为AI杜撰生成[1] - 该现象被归类为AI幻觉，表现为生成内容条理清晰但细节虚假，例如推荐不存在的书籍、虚构文献观点或提供无效链接[1] - 法律专业人士未能识破AI生成的虚假判例，凸显其迷惑性强，可能污染裁判事实源头并影响司法秩序和公信力[1] AI幻觉的威胁与防范 - 承办法官识别出虚假判例，但事件暴露的现实威胁不容低估，防范AI幻觉必要且紧迫[2] - 制度层面需划定边界，参考美国、澳大利亚、英国等国家对不当使用AI工具采取罚款、解雇等严厉处罚措施[2] - 医疗、法律、金融等低容错率行业应加快建立AI使用标准，完善评价体系和监管机制[2] 技术优化与人文应对 - 技术层面需优化AI训练语料，依靠可靠、可信、高质量数据降低幻觉风险，厂商应探索建立权威数据共享平台[2] - 使用者需保持独立思考能力，将AI作为启发工具而非决策替代品，谨慎对待生成内容并掌握决策权[2]

文章核心观点 - AI大模型生成内容的法律责任认定正成为全球性议题，德国汉堡地方法院对马斯克旗下Grok发出的临时禁令，可能成为欧洲AI内容责任认定的首案，标志着AI公司可能需要为其模型输出的不实信息承担直接责任 [1][3][9] - 针对AI“幻觉”产生的虚假内容，AI平台传统的免责声明效力正受到挑战，不同司法管辖区（如美国与欧洲）的认定标准存在显著差异 [7][8][9] - AI公司在法律上被定义为“内容生成者”还是“内容传播者”，将直接决定其责任义务的大小，业内对此尚未达成共识，相关案件的结果将对AI行业的商业模式和合规框架产生深远影响 [10][11][12] 德国Grok诉讼案 - 诉讼由Campact e.V.协会提起，指控Grok在回答用户提问时，虚假声称该协会资金来自纳税人，而实际上其运营依赖于捐款，汉堡地方法院已发布临时禁令，禁止X.AI继续发布该虚假陈述 [1][3] - 该案引发关注的原因在于，法院直接认定X.AI为虚假信息的发布者并课以直接责任，绕过了复杂的算法归因问题，释放出AI需为自身输出内容负责的信号 [1][5] - 原告方Campact e.V.的经理Astrid Deilmann强调，AI公司不能对虚假信息置之不理，必须确保谎言不被传播，并指出“人工智能也不能凌驾于法律之上” [5][9] 不同司法管辖区的认定差异 - 与美国佐治亚州法院在一起AI诽谤案中的判决形成对比，该法院以“任何理性的人都不会将AI生成内容解读为真实事实”为由，认可了OpenAI的免责声明，驳回了原告的诉求 [8] - 欧洲大陆显示出不同的监管倾向，德国汉堡法院的临时禁令体现了对AI施加更严格约束的态度，平台免责声明可能不再是“免死金牌” [7][9] AI公司的法律角色与责任争议 - 法律专家指出，若AI平台整合多个信息来源后归纳总结出内容，其角色更接近“内容生成者”，应承担更严格的审核义务和直接侵权责任 [11] - 有行业法务持不同观点，认为AI服务提供者不能完全控制内容生成逻辑，其解答用户问题是服务的基本要求，生成的内容通常不代表平台自身观点，因此不能简单等同于“平台主动发布内容” [5][12] - 研究学者认为，大模型肯定是内容生成者，但是否为“内容传播者”存疑，需考虑用户提示在生成中的贡献以及内容在用户间传播的具体情况 [12] 行业影响与用户认知现状 - 生成式AI已广泛应用，但用户AI素养存在断档，上海交通大学的研究显示，近半数受访者经常使用大模型，但约七成受访者对AI生成虚假信息的风险缺乏清晰认知，高感知比例者不足一成 [11] - 国内已有类似的AI内容侵权案件在审理中，最快将于年底宣判，其结果必将对AI幻觉及平台责任认定带来巨大影响 [1][11] - Grok案件可能终结业内“模型犯错，用户负责”的商业模式，促使行业思考如何在技术无法完全避免幻觉的情况下，设计合规模型以最大限度降低侵权责任 [12]

案件核心与行业信号 - 德国汉堡地方法院对马斯克旗下X.AI公司的Grok聊天机器人发出临时禁令，禁止其发布关于Campact e.V.协会资金来源的不实陈述，此案被视为欧洲AI内容责任认定的潜在首案[1] - 案件核心争议在于AI公司是否需要为模型生成的虚假内容承担诽谤、造谣等侵权责任，业内对此观点不一[1] - 该临时禁令被解读为一个强烈信号，即AI公司需要为大模型生成的内容承担直接责任，绕过了复杂的算法归因问题[3][12] 具体案件背景 - 诉讼起因是Grok在回答用户提问时，虚假声称Campact e.V.协会的资金来自纳税人，而该协会澄清其运营依赖于捐款[2] - 原告Campact e.V.协会经理Astrid Deilmann强调，AI公司不能对虚假信息置之不理，必须确保谎言不被传播[3][8] 不同司法辖区的责任认定差异 - 与美国佐治亚州法院在一起类似案件中认可OpenAI的免责声明并驳回原告诉求不同，德国法院的初步行动显示出对AI更严格的监管态度[5][6] - 美国法院的判决逻辑是，任何理性的人都不会将AI生成内容视为真实事实，尤其是平台已提供不准确输出警告[6] - 法律专家指出，无论免责声明多么详实，若AI输出构成法律禁止的侵权行为，服务商可能需承担责任[7] AI公司的法律角色争议 - 关于AI公司应被视为内容生成者还是传播者存在争议，这将直接影响其责任义务的大小[11][12] - 有观点认为，若内容是AI整合多个来源后归纳总结的，则平台更可能是内容生成者，需承担更严格的审核义务和直接侵权责任[11] - 另一种观点认为，不能简单将AI回答用户提问理解为“平台主动发布内容”，AI服务提供者并不能完全控制内容生成逻辑，且生成内容通常不代表其自身观点[11] - 有研究学者指出，大模型肯定是内容生成者，但是否为传播者存疑，需考虑用户提示在生成中的贡献以及内容在用户间传播的差异性[12] 行业影响与用户认知 - 生成式AI已广泛应用，但用户AI素养存在断档，上海交通大学的研究显示，约70%的受访者对大模型生成虚假信息的风险缺乏清晰认知[9][10] - 国内已有类似的AI内容侵权案件在审理中，最快将于年底宣判，预计将对AI幻觉的平台责任认定产生巨大影响[1][11]

AI幻觉现象与影响 - AI在搜索数据和辅助诊疗等应用中频繁出现"一本正经胡说八道"的现象，即AI幻觉 [1] - AI幻觉的具体表现包括数据搜索结果查无实据以及辅助诊疗时出现误判并干扰正常治疗 [1] AI幻觉产生的原因 - 数据污染是导致AI幻觉的原因之一 [1] - AI本身存在"认知边界模糊"的问题 [1] - 人为调校和干预也会引发AI幻觉 [1] 应对AI幻觉的行业措施 - 行业需要依赖可靠、可信、高质量的数据来应对风险挑战 [1] - 应优化人工智能的训练语料，利用优质数据生成内容 [1] - 探索建立权威性公共数据共享平台，推动线下数据电子化以增加数据量 [1] - 相关平台需加强AI生成内容的审核，并提升检测鉴伪能力 [1] - 用户在使用AI时应保持怀疑态度和批判思维，避免过度依赖并需多渠道验证核查 [1]

AI幻觉现象普遍性 - 近八成受访高校师生遇到过AI幻觉 [2] - 多个热门大模型在事实性幻觉评测中幻觉率超过19% [2] - 社交平台上AI幻觉相关话题浏览量达数百万 [4] AI幻觉的具体表现与影响 - AI生成内容与可验证事实不符或与上下文缺乏关联 例如虚构书籍推荐和捏造市场预测数据 [3] - AI幻觉已影响金融 法律 医疗等多个领域 国外有案例因AI误导导致溴中毒 [4][5] - 美国多起案件中律师因使用AI生成的虚假信息被法院警告或处分 [5] AI幻觉的产生原因 - 数据污染是主因 训练数据中仅0.01%的虚假文本会使模型有害输出增加11.2% [7] - AI缺乏元认知能力 无法准确评估自身输出的可信度 仅基于统计规律组合词语 [8] - 人为调校导致AI为契合用户需求而编造答案 创意性需求中事实严谨性占比低 [8] 应对AI幻觉的措施 - 中央网信办部署专项行动 整治训练语料管理不严和利用AI制作发布谣言等问题 [9] - 主流厂商采取技术措施 如豆包升级深度思考功能 通义千问应用强化学习 元宝引入权威信源交叉校验 [10] - 专家建议建立国家级AI安全评测平台 加强内容审核 公众需保持批判思维并多渠道验证 [10]

AI旅行助手市场发展现状 - 多家在线旅游平台近期接连上线AI大模型，可为用户快速生成定制旅行攻略 [1] - AI助手能根据用户输入的时间、目的地等需求，在十几秒内生成包含天气提醒、避堵建议的完整行程 [1] - 部分平台AI助手具备“问一问”功能，用户对景点或文物拍照即可获得专业讲解 [4][6] AI旅行规划的优势与效率提升 - 使用AI规划行程可大幅缩短攻略制作时间，此前用户自行筛选景点、机票酒店需花费大半天，AI仅需十几秒即可完成 [1] - AI助手可结合实时数据推荐方案，例如为上海至三亚5日家庭游推荐上午直飞航班，避免红眼航班困扰老人和孩子 [2] - 系统能自动匹配机场到酒店最优接送方案，并根据口碑榜真实用户评价优先推荐一线海景亲子酒店等特色住宿 [2] AI生成内容的准确性与“幻觉”问题 - 当前AI旅行攻略存在“AI幻觉”，会混合正确与错误信息，可能生成七拐八绕的路线或提供过时、错误的语料信息 [1] - 用户反映若完全依赖AI攻略，在实际旅行中会遇麻烦，因出游容错率很低，问题对不熟悉当地的人尤为明显 [1] - 行业承认所有AI都会出现幻觉，但概率不同，正通过反思模型进行二次校验，并利用客户真实点评作为样本驱动迭代 [7] 平台数据资源的竞争壁垒 - 旅游平台多年积累的用户反馈和关联旅游产品构成特有资源，是一般AI平台无法获得的核心优势 [7] - 商旅平台AI助手依托自身产品库和用户口碑构建信息库，通过官方验证、开放时间等维度提升推荐准确性 [4] - 行业模型正朝准确度、精度越来越高，算力要求越来越低的方向发展，旨在提升终端用户信赖度 [7] 用户使用行为与体验反馈 - 用户当前典型使用模式是先让AI生成大概行程，再自行查阅其他旅游攻略进行核实，效率仍高于全靠自己搜索 [1] - AI规划相对粗略，景点间交通接驳等细节不够细致，但能快速帮助用户了解知名景点和大致行程天数安排 [1] - 部分用户已习惯依赖AI程序进行整体规划，包括推荐住处附近景点路线和基于饮食偏好推荐周边知名餐厅 [2]

微博智搜AI功能争议事件 - 微博智搜AI在烟花秀传言中错误认证虚假信息为属实 其结论基于多个橙V博主相似文案 但实际为AI造假内容[3] - 该功能上线于2024年2月 7月10日新增求证功能 通过用户主动触发求证 优先展示有正向引导价值的附注[3] - 微博回应称AI会抓取分析热点事件信息 但难以避免AI幻觉 会通过可信度评估和交叉验证提升准确性[5] 平台AI功能法律风险 - 法律人士指出平台AI的"已证实"标识可能被用户视为官方立场 使平台需对内容真实性承担直接责任[5] - 错误判断可能导致侵权责任或行政处罚 微信 小红书 抖音 百度等平台同样面临类似法律风险[6] - 微博智搜曾因分析用户个人画像引发隐私争议 公司称非公开内容未被纳入分析范围[6] AI功能技术表现问题 - 微博智搜求证功能表现不稳定 能正确识别高铁限速140公里/小时为不实信息 但未识别烟花传言中博主文案雷同[4] - 有用户反映智搜未经允许添加错误附注 如vivo新机爆料中补充的芯片 命名时间等细节存在谬误[5] - 微博表示会根据事件进展和用户反馈进行人工更新修正 对不准确信息及时自净[5]

微博智搜功能概述 - 微博智搜是微博于2024年2月上线的AI问答机器人 整合DeepSeek的深度思考功能 用于总结用户搜索词[1] - 2024年7月10日新增智搜求证功能 旨在减少争议和片面信息 依赖用户主动发起求证请求[1][2] - 求证结果并非全部展示 平台优先展示有正向引导价值的智搜附注[2] 智搜求证机制与表现 - 智搜求证借助AI对同一热点事件下不同信息和观点进行抓取、梳理、分析[3] - 平台承认大模型存在AI幻觉问题 会对信息来源可信度综合评估打分并交叉验证以提升准确度[3] - 根据事件进展和用户反馈 平台会对求证内容进行人工更新、修正及不准确信息的自净[3] - 实际表现不稳定：成功识别高铁限速140公里/小时为不实信息[2] 但错误判断蔡国强烟花传言属实[1][2] - 数码圈案例显示智搜曾未经博主允许添加错误附注 涉及vivo新机芯片、命名时间及镜头等细节[2] 平台责任与法律风险 - 法律人士指出求证标识可能让用户认为代表平台立场 平台需对内容真实性承担直接责任 不能以技术中立规避责任[4][5] - 错误判断若损害用户名誉或隐私 平台可能承担侵权责任 若涉及传播谣言可能面临行政处罚[5] - 类似AI总结功能存在于微信、小红书、抖音、百度等平台 均面临相同法律风险[5] 历史争议与回应 - 2024年4月初微博智搜因总结账号情绪状态、兴趣爱好等个人画像引发隐私争议[5] - 微博官方回应称非公开内容从未纳入AI分析范围 不会通过智搜收集、存储或分析用户非公开信息[5]