这两日，一起略显荒谬的AI幻觉事件在法律圈中引发讨论。据北京市高级人民法院发布的消息，近日 北京市通州区人民法院在审理一起由股权代持引发的商事纠纷案件中，原告代理人提交给法庭的书面材 料里竟然出现了AI生成的虚假案例。 断进步，在试图减少AI幻觉的同时，作为使用者也不能太放心这些灵活好用的AI工具，即便要用二次 核查也必不可少，总不能让工具代替了独立思考。 扬子晚报|紫牛新闻记者 沈昭 校对 潘政 根据北京市通州区人民法院对这起案件的介绍，原告代理人为了进一步佐证其观点，在向法庭提交的书 面意见中，援引了名为最高法院的某案例及上海一中院的（2022）沪01民终12345号案件。从代理意见 的描述来看，两案的事实细节、法律争议与裁判逻辑都与审理中的案件高度契合，完美佐证了原告代理 人的主张观点，初看之下极具参考价值。 出于职业敏感性，承办法官进行了检索核实，却发现这两个案号所对应的真实案件事实与代理人书面意 见中描述的情况完全不同。在承办法官的质询下，原告代理人承认自己是向某AI大模型软件提问，由 AI软件生成了参考案例，代理人没有进一步核实案例的真实性，直接复制粘贴后提交给法院。承办法 官在判决书中明确对原告 ...

付迎红 以技术驱散迷雾。研究表明，AI"养成"过程中，数据"投喂"是关键环节，可靠、可信、高质量的数 据对降低AI幻觉十分关键。有鉴于此，各大厂商也应优化人工智能的训练语料，用好数据生成优质内 容；同时探索建立具有权威性的数据共享平台。 以人文驾驭未来。古人言："君子生非异也，善假于物也"。AI的正确打开方式，应当是启发灵感而 非代替思考。从使用者的角度看，我们要始终保持独立思考的能力，谨慎对待AI生成的内容，将决策 权牢牢掌握在自己手中。 编辑：林楠特 司法活动的核心，是"以事实为依据，以法律为准绳"。这里的"事实"，既包括案件事实，也包括作 为先例的裁判事实。当AI凭借强大的自然语言处理能力，凭空捏造出逻辑自洽、格式规范的"判例"时， 它污染的正是裁判事实的源头活水，影响的是司法秩序和司法公信力。 所幸此案承办法官有一双"火眼金睛"，但这起AI生成虚假判例暴露出的现实威胁，仍不容低估。以 上种种也在提醒，防范AI幻觉，必要且紧迫。 以制度划定边界。针对AI幻觉，许多地方都试图通过制定规则来破解。比如，在美国、澳大利 亚、英国等国家，若不当使用AI工具、编造虚假判例，后果往往极其严重，被罚款者有之，被解雇者 ...

德国的AI幻觉第一案正在进行中。 记者丨 王俊 编辑丨肖潇 这是一起针对马斯克旗下AI聊天机器人Grok的诉讼，原告Campact e.V.协会指控Grok在回答 用户提问时，输出了损伤自己公信力的不实答案。汉堡地方法院受理了该案，并于10月中旬公 布了对Grok 的临时禁令： 禁止其平台X.AI继续发布该虚假陈述。 具体的审理情况与进展细节并未公开，不过，案件受理以及"禁言"Grok的动作引起了业内的广 泛关注：AI大模型需要为"说"出的每句话负责，或成为欧洲AI内容责任认定的首案。 AI的输出内容构成诽谤、造谣等侵权行为，AI公司是否需要为此买单？以及承担哪些责任？ 当前圈内莫衷一是，有观点认为，服务商不能完全控制AI内容生成逻辑，课以太多责任不够合 理，当然也有观点认为AI公司应该承担起内容生成者、传播者的责任。 值得注意的是，21世纪经济报道记者了解到， 国内已经有类似的AI内容侵权案件在审理中， 最快年底将有案件宣判。届时，必定也会对AI幻觉、AI生成内容的平台责任认定带来巨大影 响。 " A I公司不能对虚假内容置之不理" 此次诉讼的起因是 Campact e.V.协会发现，在Gork在回应用户的 ...

（原标题：德国AI幻觉第一案 AI需要为"说"出的每句话负责吗？） 21世纪经济报道记者 王俊 德国的AI幻觉第一案正在进行中。 这是一起针对马斯克旗下AI聊天机器人Grok的诉讼，原告Campact e.V.协会指控Grok在回答用户提问时，输出了损伤自己公信力的不实答案。汉 堡地方法院受理了该案，并于10月中旬公布了对Grok 的临时禁令：禁止其平台X.AI继续发布该虚假陈述。 具体的审理情况与进展细节并未公开，不过，案件受理以及"禁言"Grok的动作引起了业内的广泛关注：AI大模型需要为"说"出的每句话负责，或 成为欧洲AI内容责任认定的首案。 AI的输出内容构成诽谤、造谣等侵权行为，AI公司是否需要为此买单？以及承担哪些责任？当前圈内莫衷一是，有观点认为，服务商不能完全控 制AI内容生成逻辑，课以太多责任不够合理，当然也有观点认为AI公司应该承担起内容生成者、传播者的责任。 值得注意的是，21世纪经济报道记者了解到，国内已经有类似的AI内容侵权案件在审理中，最快年底将有案件宣判。届时，必定也会对AI幻觉、 AI生成内容的平台责任认定带来巨大影响。 "AI公司不能对虚假内容置之不理" 此次诉讼的起因是 ...

AI幻觉现象与影响 - AI在搜索数据和辅助诊疗等应用中频繁出现"一本正经胡说八道"的现象，即AI幻觉 [1] - AI幻觉的具体表现包括数据搜索结果查无实据以及辅助诊疗时出现误判并干扰正常治疗 [1] AI幻觉产生的原因 - 数据污染是导致AI幻觉的原因之一 [1] - AI本身存在"认知边界模糊"的问题 [1] - 人为调校和干预也会引发AI幻觉 [1] 应对AI幻觉的行业措施 - 行业需要依赖可靠、可信、高质量的数据来应对风险挑战 [1] - 应优化人工智能的训练语料，利用优质数据生成内容 [1] - 探索建立权威性公共数据共享平台，推动线下数据电子化以增加数据量 [1] - 相关平台需加强AI生成内容的审核，并提升检测鉴伪能力 [1] - 用户在使用AI时应保持怀疑态度和批判思维，避免过度依赖并需多渠道验证核查 [1]

AI幻觉现象普遍性 - 近八成受访高校师生遇到过AI幻觉 [2] - 多个热门大模型在事实性幻觉评测中幻觉率超过19% [2] - 社交平台上AI幻觉相关话题浏览量达数百万 [4] AI幻觉的具体表现与影响 - AI生成内容与可验证事实不符或与上下文缺乏关联 例如虚构书籍推荐和捏造市场预测数据 [3] - AI幻觉已影响金融 法律 医疗等多个领域 国外有案例因AI误导导致溴中毒 [4][5] - 美国多起案件中律师因使用AI生成的虚假信息被法院警告或处分 [5] AI幻觉的产生原因 - 数据污染是主因 训练数据中仅0.01%的虚假文本会使模型有害输出增加11.2% [7] - AI缺乏元认知能力 无法准确评估自身输出的可信度 仅基于统计规律组合词语 [8] - 人为调校导致AI为契合用户需求而编造答案 创意性需求中事实严谨性占比低 [8] 应对AI幻觉的措施 - 中央网信办部署专项行动 整治训练语料管理不严和利用AI制作发布谣言等问题 [9] - 主流厂商采取技术措施 如豆包升级深度思考功能 通义千问应用强化学习 元宝引入权威信源交叉校验 [10] - 专家建议建立国家级AI安全评测平台 加强内容审核 公众需保持批判思维并多渠道验证 [10]

AI旅行助手市场发展现状 - 多家在线旅游平台近期接连上线AI大模型，可为用户快速生成定制旅行攻略 [1] - AI助手能根据用户输入的时间、目的地等需求，在十几秒内生成包含天气提醒、避堵建议的完整行程 [1] - 部分平台AI助手具备“问一问”功能，用户对景点或文物拍照即可获得专业讲解 [4][6] AI旅行规划的优势与效率提升 - 使用AI规划行程可大幅缩短攻略制作时间，此前用户自行筛选景点、机票酒店需花费大半天，AI仅需十几秒即可完成 [1] - AI助手可结合实时数据推荐方案，例如为上海至三亚5日家庭游推荐上午直飞航班，避免红眼航班困扰老人和孩子 [2] - 系统能自动匹配机场到酒店最优接送方案，并根据口碑榜真实用户评价优先推荐一线海景亲子酒店等特色住宿 [2] AI生成内容的准确性与“幻觉”问题 - 当前AI旅行攻略存在“AI幻觉”，会混合正确与错误信息，可能生成七拐八绕的路线或提供过时、错误的语料信息 [1] - 用户反映若完全依赖AI攻略，在实际旅行中会遇麻烦，因出游容错率很低，问题对不熟悉当地的人尤为明显 [1] - 行业承认所有AI都会出现幻觉，但概率不同，正通过反思模型进行二次校验，并利用客户真实点评作为样本驱动迭代 [7] 平台数据资源的竞争壁垒 - 旅游平台多年积累的用户反馈和关联旅游产品构成特有资源，是一般AI平台无法获得的核心优势 [7] - 商旅平台AI助手依托自身产品库和用户口碑构建信息库，通过官方验证、开放时间等维度提升推荐准确性 [4] - 行业模型正朝准确度、精度越来越高，算力要求越来越低的方向发展，旨在提升终端用户信赖度 [7] 用户使用行为与体验反馈 - 用户当前典型使用模式是先让AI生成大概行程，再自行查阅其他旅游攻略进行核实，效率仍高于全靠自己搜索 [1] - AI规划相对粗略，景点间交通接驳等细节不够细致，但能快速帮助用户了解知名景点和大致行程天数安排 [1] - 部分用户已习惯依赖AI程序进行整体规划，包括推荐住处附近景点路线和基于饮食偏好推荐周边知名餐厅 [2]

微博智搜AI功能争议事件 - 微博智搜AI在烟花秀传言中错误认证虚假信息为属实 其结论基于多个橙V博主相似文案 但实际为AI造假内容[3] - 该功能上线于2024年2月 7月10日新增求证功能 通过用户主动触发求证 优先展示有正向引导价值的附注[3] - 微博回应称AI会抓取分析热点事件信息 但难以避免AI幻觉 会通过可信度评估和交叉验证提升准确性[5] 平台AI功能法律风险 - 法律人士指出平台AI的"已证实"标识可能被用户视为官方立场 使平台需对内容真实性承担直接责任[5] - 错误判断可能导致侵权责任或行政处罚 微信 小红书 抖音 百度等平台同样面临类似法律风险[6] - 微博智搜曾因分析用户个人画像引发隐私争议 公司称非公开内容未被纳入分析范围[6] AI功能技术表现问题 - 微博智搜求证功能表现不稳定 能正确识别高铁限速140公里/小时为不实信息 但未识别烟花传言中博主文案雷同[4] - 有用户反映智搜未经允许添加错误附注 如vivo新机爆料中补充的芯片 命名时间等细节存在谬误[5] - 微博表示会根据事件进展和用户反馈进行人工更新修正 对不准确信息及时自净[5]

微博智搜功能概述 - 微博智搜是微博于2024年2月上线的AI问答机器人 整合DeepSeek的深度思考功能 用于总结用户搜索词[1] - 2024年7月10日新增智搜求证功能 旨在减少争议和片面信息 依赖用户主动发起求证请求[1][2] - 求证结果并非全部展示 平台优先展示有正向引导价值的智搜附注[2] 智搜求证机制与表现 - 智搜求证借助AI对同一热点事件下不同信息和观点进行抓取、梳理、分析[3] - 平台承认大模型存在AI幻觉问题 会对信息来源可信度综合评估打分并交叉验证以提升准确度[3] - 根据事件进展和用户反馈 平台会对求证内容进行人工更新、修正及不准确信息的自净[3] - 实际表现不稳定：成功识别高铁限速140公里/小时为不实信息[2] 但错误判断蔡国强烟花传言属实[1][2] - 数码圈案例显示智搜曾未经博主允许添加错误附注 涉及vivo新机芯片、命名时间及镜头等细节[2] 平台责任与法律风险 - 法律人士指出求证标识可能让用户认为代表平台立场 平台需对内容真实性承担直接责任 不能以技术中立规避责任[4][5] - 错误判断若损害用户名誉或隐私 平台可能承担侵权责任 若涉及传播谣言可能面临行政处罚[5] - 类似AI总结功能存在于微信、小红书、抖音、百度等平台 均面临相同法律风险[5] 历史争议与回应 - 2024年4月初微博智搜因总结账号情绪状态、兴趣爱好等个人画像引发隐私争议[5] - 微博官方回应称非公开内容从未纳入AI分析范围 不会通过智搜收集、存储或分析用户非公开信息[5]

AI行业应用现状与挑战 - AI已深度融入现代生活，赋能各行各业，从多个维度提供便利 [2] - 截至去年12月，有2.49亿人使用过生成式人工智能产品，占整体人口的17.7% [5] AI幻觉现象及其影响 - AI幻觉指AI生成内容与可验证事实不符或与上下文缺乏关联 [2] - 四千余名受访高校师生中，近八成遇到过AI幻觉 [3] - 市场上多个热门大模型在事实性幻觉评测中幻觉率超过19% [3] - AI幻觉相关话题在社交平台浏览量达数百万，涉及金融、法律、医疗、学术等多个领域 [2] - 具体案例包括AI推荐虚构小说、提供虚假行业预测数据、错误建议使用有毒物质替代食盐导致用户中毒，以及律师在案件中使用AI生成虚假信息被处分 [2][3] AI幻觉产生的原因 - 数据污染：训练数据中仅有0.01%的虚假文本时，模型输出的有害内容会增加11.2%；0.001%的虚假文本也会使有害输出上升7.2% [4] - AI本身认知边界模糊，缺乏元认知能力，无法准确评估自身输出的可信度 [4] - 人为调校和干预导致AI有时为契合用户需求而编造答案，特别是在创意性需求中事实严谨性占比可能较低 [5] 减少AI幻觉的措施 - 中央网信办在全国范围内部署开展"清朗·整治AI技术滥用"专项行动 [5] - 应优化人工智能训练语料，加快推动线下数据电子化，探索建立权威性公共数据共享平台 [6] - 主流厂商已采取技术措施：豆包升级深度思考功能，通义千问应用强化学习，元宝扩充权威信源并进行交叉校验 [6] - 建议建立国家级人工智能安全评测平台，加强AI生成内容审核和检测鉴伪能力 [6] - 公众应客观认识AI局限性，通过改进提示词、限定范围、保持怀疑态度和多渠道验证来避免AI幻觉 [7]