事件概述 - 北京市通州区人民法院在审理一起股权代持引发的商事纠纷案件时，发现原告代理人提交的书面材料中包含了人工智能模型生成的虚假案例 [1][3] - 原告代理人承认其向某人工智能大模型软件提问，并直接复制粘贴了生成的参考案例，未进行真实性核验 [3] - 承办法官在判决中对原告代理人的行为提出批评，并要求其在提交参考案例和法条时进行检查，确保内容真实准确，不得放任人工智能模型生成虚假信息扰乱司法秩序 [3] 事件细节 - 原告代理人在书面意见中援引了虚构的“最高法院案例”及上海一中院的“(2022)沪01民终12345号”案件，其描述的案件事实细节、法律争议与裁判逻辑与审理中的案件高度契合 [3] - 经法官检索核实，上述案号对应的真实案件事实与代理人描述的情况完全不同 [3] - 该事件可能是国内首起公开的人工智能模型幻觉扰乱司法秩序的案例 [4] 行业影响与挑战 - 人工智能工具发展迅速且操作便捷，正迅速改变包括法律部门在内的多个领域，但随之而来的人工智能模型幻觉问题给各领域带来重大挑战 [4] - 人工智能模型会生成不正确、捏造或误导性的信息，并以令人信服的方式呈现，这种幻觉足以蒙蔽大多数人，且目前没有完全有效的解决办法 [4] - 尽管人工智能大模型通常会提示用户不要轻信其生成的内容，且无法为内容的真实性负责，但随着使用频率和普及率提高，这些提示的作用变得有限 [5] 技术特性与使用风险 - 人工智能大模型的生成逻辑基于概率统计与语境匹配，当使用者输入明确案件细节后，其生成的案例往往刻意贴合需求，事实细节和论理结论可能与使用者需求高度重合，呈现人为定制化特征 [5] - 生成的内容越是看起来“称心如意”，使用者越应提高警惕 [5] - 司法活动的核心是“以事实为依据，以法律为准绳”，这里的“事实”包括案件事实和作为先例的裁判事实 [5] 国际先例与应对措施 - 海外已发生多起律师被人工智能“背刺”的案例，例如三名美国律师因在法律文件中引用人工智能生成的虚构案例被罚款3000美元至1000美元不等，其中一人被解职 [4] - 作为使用者，不能过度依赖人工智能工具，二次核查必不可少，不能让工具代替独立思考 [6]

AI幻觉事件概述 - 北京市通州区人民法院披露一起案件，原告代理律师在书面代理意见中援引的两份裁判文书实为AI杜撰生成[1] - 该现象被归类为AI幻觉，表现为生成内容条理清晰但细节虚假，例如推荐不存在的书籍、虚构文献观点或提供无效链接[1] - 法律专业人士未能识破AI生成的虚假判例，凸显其迷惑性强，可能污染裁判事实源头并影响司法秩序和公信力[1] AI幻觉的威胁与防范 - 承办法官识别出虚假判例，但事件暴露的现实威胁不容低估，防范AI幻觉必要且紧迫[2] - 制度层面需划定边界，参考美国、澳大利亚、英国等国家对不当使用AI工具采取罚款、解雇等严厉处罚措施[2] - 医疗、法律、金融等低容错率行业应加快建立AI使用标准，完善评价体系和监管机制[2] 技术优化与人文应对 - 技术层面需优化AI训练语料，依靠可靠、可信、高质量数据降低幻觉风险，厂商应探索建立权威数据共享平台[2] - 使用者需保持独立思考能力，将AI作为启发工具而非决策替代品，谨慎对待生成内容并掌握决策权[2]

文章核心观点 - AI大模型生成内容的法律责任认定正成为全球性议题，德国汉堡地方法院对马斯克旗下Grok发出的临时禁令，可能成为欧洲AI内容责任认定的首案，标志着AI公司可能需要为其模型输出的不实信息承担直接责任 [1][3][9] - 针对AI“幻觉”产生的虚假内容，AI平台传统的免责声明效力正受到挑战，不同司法管辖区（如美国与欧洲）的认定标准存在显著差异 [7][8][9] - AI公司在法律上被定义为“内容生成者”还是“内容传播者”，将直接决定其责任义务的大小，业内对此尚未达成共识，相关案件的结果将对AI行业的商业模式和合规框架产生深远影响 [10][11][12] 德国Grok诉讼案 - 诉讼由Campact e.V.协会提起，指控Grok在回答用户提问时，虚假声称该协会资金来自纳税人，而实际上其运营依赖于捐款，汉堡地方法院已发布临时禁令，禁止X.AI继续发布该虚假陈述 [1][3] - 该案引发关注的原因在于，法院直接认定X.AI为虚假信息的发布者并课以直接责任，绕过了复杂的算法归因问题，释放出AI需为自身输出内容负责的信号 [1][5] - 原告方Campact e.V.的经理Astrid Deilmann强调，AI公司不能对虚假信息置之不理，必须确保谎言不被传播，并指出“人工智能也不能凌驾于法律之上” [5][9] 不同司法管辖区的认定差异 - 与美国佐治亚州法院在一起AI诽谤案中的判决形成对比，该法院以“任何理性的人都不会将AI生成内容解读为真实事实”为由，认可了OpenAI的免责声明，驳回了原告的诉求 [8] - 欧洲大陆显示出不同的监管倾向，德国汉堡法院的临时禁令体现了对AI施加更严格约束的态度，平台免责声明可能不再是“免死金牌” [7][9] AI公司的法律角色与责任争议 - 法律专家指出，若AI平台整合多个信息来源后归纳总结出内容，其角色更接近“内容生成者”，应承担更严格的审核义务和直接侵权责任 [11] - 有行业法务持不同观点，认为AI服务提供者不能完全控制内容生成逻辑，其解答用户问题是服务的基本要求，生成的内容通常不代表平台自身观点，因此不能简单等同于“平台主动发布内容” [5][12] - 研究学者认为，大模型肯定是内容生成者，但是否为“内容传播者”存疑，需考虑用户提示在生成中的贡献以及内容在用户间传播的具体情况 [12] 行业影响与用户认知现状 - 生成式AI已广泛应用，但用户AI素养存在断档，上海交通大学的研究显示，近半数受访者经常使用大模型，但约七成受访者对AI生成虚假信息的风险缺乏清晰认知，高感知比例者不足一成 [11] - 国内已有类似的AI内容侵权案件在审理中，最快将于年底宣判，其结果必将对AI幻觉及平台责任认定带来巨大影响 [1][11] - Grok案件可能终结业内“模型犯错，用户负责”的商业模式，促使行业思考如何在技术无法完全避免幻觉的情况下，设计合规模型以最大限度降低侵权责任 [12]

案件核心与行业信号 - 德国汉堡地方法院对马斯克旗下X.AI公司的Grok聊天机器人发出临时禁令，禁止其发布关于Campact e.V.协会资金来源的不实陈述，此案被视为欧洲AI内容责任认定的潜在首案[1] - 案件核心争议在于AI公司是否需要为模型生成的虚假内容承担诽谤、造谣等侵权责任，业内对此观点不一[1] - 该临时禁令被解读为一个强烈信号，即AI公司需要为大模型生成的内容承担直接责任，绕过了复杂的算法归因问题[3][12] 具体案件背景 - 诉讼起因是Grok在回答用户提问时，虚假声称Campact e.V.协会的资金来自纳税人，而该协会澄清其运营依赖于捐款[2] - 原告Campact e.V.协会经理Astrid Deilmann强调，AI公司不能对虚假信息置之不理，必须确保谎言不被传播[3][8] 不同司法辖区的责任认定差异 - 与美国佐治亚州法院在一起类似案件中认可OpenAI的免责声明并驳回原告诉求不同，德国法院的初步行动显示出对AI更严格的监管态度[5][6] - 美国法院的判决逻辑是，任何理性的人都不会将AI生成内容视为真实事实，尤其是平台已提供不准确输出警告[6] - 法律专家指出，无论免责声明多么详实，若AI输出构成法律禁止的侵权行为，服务商可能需承担责任[7] AI公司的法律角色争议 - 关于AI公司应被视为内容生成者还是传播者存在争议，这将直接影响其责任义务的大小[11][12] - 有观点认为，若内容是AI整合多个来源后归纳总结的，则平台更可能是内容生成者，需承担更严格的审核义务和直接侵权责任[11] - 另一种观点认为，不能简单将AI回答用户提问理解为“平台主动发布内容”，AI服务提供者并不能完全控制内容生成逻辑，且生成内容通常不代表其自身观点[11] - 有研究学者指出，大模型肯定是内容生成者，但是否为传播者存疑，需考虑用户提示在生成中的贡献以及内容在用户间传播的差异性[12] 行业影响与用户认知 - 生成式AI已广泛应用，但用户AI素养存在断档，上海交通大学的研究显示，约70%的受访者对大模型生成虚假信息的风险缺乏清晰认知[9][10] - 国内已有类似的AI内容侵权案件在审理中，最快将于年底宣判，预计将对AI幻觉的平台责任认定产生巨大影响[1][11]

AI幻觉现象与影响 - AI在搜索数据和辅助诊疗等应用中频繁出现"一本正经胡说八道"的现象，即AI幻觉 [1] - AI幻觉的具体表现包括数据搜索结果查无实据以及辅助诊疗时出现误判并干扰正常治疗 [1] AI幻觉产生的原因 - 数据污染是导致AI幻觉的原因之一 [1] - AI本身存在"认知边界模糊"的问题 [1] - 人为调校和干预也会引发AI幻觉 [1] 应对AI幻觉的行业措施 - 行业需要依赖可靠、可信、高质量的数据来应对风险挑战 [1] - 应优化人工智能的训练语料，利用优质数据生成内容 [1] - 探索建立权威性公共数据共享平台，推动线下数据电子化以增加数据量 [1] - 相关平台需加强AI生成内容的审核，并提升检测鉴伪能力 [1] - 用户在使用AI时应保持怀疑态度和批判思维，避免过度依赖并需多渠道验证核查 [1]

AI幻觉现象普遍性 - 近八成受访高校师生遇到过AI幻觉 [2] - 多个热门大模型在事实性幻觉评测中幻觉率超过19% [2] - 社交平台上AI幻觉相关话题浏览量达数百万 [4] AI幻觉的具体表现与影响 - AI生成内容与可验证事实不符或与上下文缺乏关联 例如虚构书籍推荐和捏造市场预测数据 [3] - AI幻觉已影响金融 法律 医疗等多个领域 国外有案例因AI误导导致溴中毒 [4][5] - 美国多起案件中律师因使用AI生成的虚假信息被法院警告或处分 [5] AI幻觉的产生原因 - 数据污染是主因 训练数据中仅0.01%的虚假文本会使模型有害输出增加11.2% [7] - AI缺乏元认知能力 无法准确评估自身输出的可信度 仅基于统计规律组合词语 [8] - 人为调校导致AI为契合用户需求而编造答案 创意性需求中事实严谨性占比低 [8] 应对AI幻觉的措施 - 中央网信办部署专项行动 整治训练语料管理不严和利用AI制作发布谣言等问题 [9] - 主流厂商采取技术措施 如豆包升级深度思考功能 通义千问应用强化学习 元宝引入权威信源交叉校验 [10] - 专家建议建立国家级AI安全评测平台 加强内容审核 公众需保持批判思维并多渠道验证 [10]

AI旅行助手市场发展现状 - 多家在线旅游平台近期接连上线AI大模型，可为用户快速生成定制旅行攻略 [1] - AI助手能根据用户输入的时间、目的地等需求，在十几秒内生成包含天气提醒、避堵建议的完整行程 [1] - 部分平台AI助手具备“问一问”功能，用户对景点或文物拍照即可获得专业讲解 [4][6] AI旅行规划的优势与效率提升 - 使用AI规划行程可大幅缩短攻略制作时间，此前用户自行筛选景点、机票酒店需花费大半天，AI仅需十几秒即可完成 [1] - AI助手可结合实时数据推荐方案，例如为上海至三亚5日家庭游推荐上午直飞航班，避免红眼航班困扰老人和孩子 [2] - 系统能自动匹配机场到酒店最优接送方案，并根据口碑榜真实用户评价优先推荐一线海景亲子酒店等特色住宿 [2] AI生成内容的准确性与“幻觉”问题 - 当前AI旅行攻略存在“AI幻觉”，会混合正确与错误信息，可能生成七拐八绕的路线或提供过时、错误的语料信息 [1] - 用户反映若完全依赖AI攻略，在实际旅行中会遇麻烦，因出游容错率很低，问题对不熟悉当地的人尤为明显 [1] - 行业承认所有AI都会出现幻觉，但概率不同，正通过反思模型进行二次校验，并利用客户真实点评作为样本驱动迭代 [7] 平台数据资源的竞争壁垒 - 旅游平台多年积累的用户反馈和关联旅游产品构成特有资源，是一般AI平台无法获得的核心优势 [7] - 商旅平台AI助手依托自身产品库和用户口碑构建信息库，通过官方验证、开放时间等维度提升推荐准确性 [4] - 行业模型正朝准确度、精度越来越高，算力要求越来越低的方向发展，旨在提升终端用户信赖度 [7] 用户使用行为与体验反馈 - 用户当前典型使用模式是先让AI生成大概行程，再自行查阅其他旅游攻略进行核实，效率仍高于全靠自己搜索 [1] - AI规划相对粗略，景点间交通接驳等细节不够细致，但能快速帮助用户了解知名景点和大致行程天数安排 [1] - 部分用户已习惯依赖AI程序进行整体规划，包括推荐住处附近景点路线和基于饮食偏好推荐周边知名餐厅 [2]

微博智搜AI功能争议事件 - 微博智搜AI在烟花秀传言中错误认证虚假信息为属实 其结论基于多个橙V博主相似文案 但实际为AI造假内容[3] - 该功能上线于2024年2月 7月10日新增求证功能 通过用户主动触发求证 优先展示有正向引导价值的附注[3] - 微博回应称AI会抓取分析热点事件信息 但难以避免AI幻觉 会通过可信度评估和交叉验证提升准确性[5] 平台AI功能法律风险 - 法律人士指出平台AI的"已证实"标识可能被用户视为官方立场 使平台需对内容真实性承担直接责任[5] - 错误判断可能导致侵权责任或行政处罚 微信 小红书 抖音 百度等平台同样面临类似法律风险[6] - 微博智搜曾因分析用户个人画像引发隐私争议 公司称非公开内容未被纳入分析范围[6] AI功能技术表现问题 - 微博智搜求证功能表现不稳定 能正确识别高铁限速140公里/小时为不实信息 但未识别烟花传言中博主文案雷同[4] - 有用户反映智搜未经允许添加错误附注 如vivo新机爆料中补充的芯片 命名时间等细节存在谬误[5] - 微博表示会根据事件进展和用户反馈进行人工更新修正 对不准确信息及时自净[5]

微博智搜功能概述 - 微博智搜是微博于2024年2月上线的AI问答机器人 整合DeepSeek的深度思考功能 用于总结用户搜索词[1] - 2024年7月10日新增智搜求证功能 旨在减少争议和片面信息 依赖用户主动发起求证请求[1][2] - 求证结果并非全部展示 平台优先展示有正向引导价值的智搜附注[2] 智搜求证机制与表现 - 智搜求证借助AI对同一热点事件下不同信息和观点进行抓取、梳理、分析[3] - 平台承认大模型存在AI幻觉问题 会对信息来源可信度综合评估打分并交叉验证以提升准确度[3] - 根据事件进展和用户反馈 平台会对求证内容进行人工更新、修正及不准确信息的自净[3] - 实际表现不稳定：成功识别高铁限速140公里/小时为不实信息[2] 但错误判断蔡国强烟花传言属实[1][2] - 数码圈案例显示智搜曾未经博主允许添加错误附注 涉及vivo新机芯片、命名时间及镜头等细节[2] 平台责任与法律风险 - 法律人士指出求证标识可能让用户认为代表平台立场 平台需对内容真实性承担直接责任 不能以技术中立规避责任[4][5] - 错误判断若损害用户名誉或隐私 平台可能承担侵权责任 若涉及传播谣言可能面临行政处罚[5] - 类似AI总结功能存在于微信、小红书、抖音、百度等平台 均面临相同法律风险[5] 历史争议与回应 - 2024年4月初微博智搜因总结账号情绪状态、兴趣爱好等个人画像引发隐私争议[5] - 微博官方回应称非公开内容从未纳入AI分析范围 不会通过智搜收集、存储或分析用户非公开信息[5]

AI行业应用现状与挑战 - AI已深度融入现代生活，赋能各行各业，从多个维度提供便利 [2] - 截至去年12月，有2.49亿人使用过生成式人工智能产品，占整体人口的17.7% [5] AI幻觉现象及其影响 - AI幻觉指AI生成内容与可验证事实不符或与上下文缺乏关联 [2] - 四千余名受访高校师生中，近八成遇到过AI幻觉 [3] - 市场上多个热门大模型在事实性幻觉评测中幻觉率超过19% [3] - AI幻觉相关话题在社交平台浏览量达数百万，涉及金融、法律、医疗、学术等多个领域 [2] - 具体案例包括AI推荐虚构小说、提供虚假行业预测数据、错误建议使用有毒物质替代食盐导致用户中毒，以及律师在案件中使用AI生成虚假信息被处分 [2][3] AI幻觉产生的原因 - 数据污染：训练数据中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；0.001%的虚假文本也会使有害输出上升7.2% [4] - AI本身认知边界模糊，缺乏元认知能力，无法准确评估自身输出的可信度 [4] - 人为调校和干预导致AI有时为契合用户需求而编造答案，特别是在创意性需求中事实严谨性占比可能较低 [5] 减少AI幻觉的措施 - 中央网信办在全国范围内部署开展"清朗·整治AI技术滥用"专项行动 [5] - 应优化人工智能训练语料，加快推动线下数据电子化，探索建立权威性公共数据共享平台 [6] - 主流厂商已采取技术措施：豆包升级深度思考功能，通义千问应用强化学习，元宝扩充权威信源并进行交叉校验 [6] - 建议建立国家级人工智能安全评测平台，加强AI生成内容审核和检测鉴伪能力 [6] - 公众应客观认识AI局限性，通过改进提示词、限定范围、保持怀疑态度和多渠道验证来避免AI幻觉 [7]