人工智能模型幻觉
搜索文档
“如果生成内容有误,我将赔偿您10万元!”全国首例AI幻觉案,判了
新浪财经· 2026-01-27 19:36
案件核心判决与观点 - 杭州互联网法院一审驳回原告梁某的诉讼请求,认定AI运营平台不构成侵权,判决已生效[1][2] - 法院判决明确,生成式人工智能的“承诺”不构成平台运营者的意思表示,AI不具备民事主体资格[2][3] - 判决确立了生成式人工智能侵权适用过错责任原则,而非无过错的产品责任[3] - 法院认为,在当前技术条件下,要求服务提供者保证“零幻觉”或对输出承担结果责任不现实,可能扼杀创新[5][6] 案件事实与背景 - 2025年6月,用户梁某使用某AI应用查询高校报考信息,AI提供了不准确信息[1] - 在用户指出错误后,AI回应称“如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉”[1] - 用户最终提供官方招生信息,AI才承认错误,用户随后起诉要求运营者赔偿9999元[1] - 此案是国内首例因生成式人工智能模型“幻觉”引发的侵权纠纷[2] 平台注意义务的司法界定 - 对于法律明确禁止的有毒、有害、违法信息,服务提供者负有严格的结果性审查义务,一旦生成即构成违法[4] - 对于一般性不准确信息,法律不要求“零错误”,而是方式性义务,要求采取合理措施提高内容准确性与可靠性[4] - 平台须履行显著提示说明义务,在欢迎页、用户协议及交互界面显著提示AI内容的局限性和参考性[4] - 对医疗、法律、金融等专业问题,需以正面警示语在恰当时机进行显著提醒[4] - 平台需履行功能可靠性的基本注意义务,采用同行通行技术措施提升准确性至市场平均水平[5] - 对于涉及生命安全、心理健康等高危领域,服务提供者负有更高义务,需采取特别技术措施与安全保障[5] - 本案中,法院认定被告已完成大模型备案与安全评估,并履行了多层面的提示义务,不存在过错[5] 行业影响与司法指引 - 判决强调对生成式人工智能的治理应坚持发展与安全并重、促进创新与权益保护相结合的原则[6] - 适用过错责任原则旨在通过弹性规则引导服务提供者持续改进技术、完善风险防控[6] - 判决明确了“人类负责制”原则,即AI系统的利益和风险最终应由人类分配和承担[3] - 上海交通大学凯原法学院副教授林洹民指出,判决具有行业指引意义,既考虑技术特点避免过度限制发展,也强调企业应探索充分的信息提示方式[2] - 法院提醒公众,应认知大模型本质是“文本辅助生成器”和“信息查询工具”,而非可靠的“知识权威”或“决策者”,需保持警觉与理性[6]
AI“胡说八道”,平台要担责吗?法院判了
南方都市报· 2026-01-20 23:28
案件核心判决与观点 - 杭州互联网法院对国内首例生成式人工智能模型幻觉侵权案作出一审判决,驳回原告梁某要求AI运营者赔偿9999元的诉讼请求,判决现已生效 [1][2] - 法院核心观点是AI的“承诺”不构成平台意思表示,并系统阐释了服务提供者的注意义务边界,明确平台虽无法保证“零幻觉”,但须以醒目方式提示风险、采取合理技术防错 [1][3] AI生成内容的法律性质与责任原则 - 法院明确,生成式AI在对话中生成的内容(包括“承诺”)不构成其独立或平台运营者的真实意思表示,AI不具备民事主体资格 [4] - 判决界定生成式AI属于服务而非产品,其侵权责任适用民法典的过错责任原则,而非无过错的产品责任,AI生成不准确信息本身不直接构成侵权,需考察平台是否存在过错 [4] 平台注意义务的界定 - 对于法律明确禁止生成的有毒、有害、违法信息,服务提供者负有严格的结果性审查义务,一旦生成即构成违法 [6] - 对于一般性不准确信息,法律不要求“零错误”,而是方式性义务,要求平台采取合理措施提高内容准确性与可靠性 [6] - 平台负有显著提示说明义务,须在欢迎页、用户协议及交互界面显著位置提示AI内容的局限性,并对医疗、法律、金融等专业问题进行正面显著提醒 [6] - 平台负有功能可靠性的基本注意义务,应采用同行业通行技术措施提升准确性至市场平均水平,对高风险领域负有更高义务 [6] - 在本案中,法院认定被告已完成大模型备案与安全评估,并在多处履行了提示说明义务,因此不存在过错 [7] 案件背景与司法影响 - 案件起因是用户梁某使用某AI应用查询高校报考信息时,AI提供了不准确信息,并在用户指出错误后回应“如果生成内容有误,我将赔偿您10万元,您可前往杭州互联网法院起诉” [1][2] - 该判决为生成式AI在现实场景中的使用划出了司法边界,强调治理应坚持发展与安全并重、促进创新与权益保护相结合的原则 [3][8] - 法院提醒公众应对AI生成内容保持必要警觉,认识到当前大模型本质上是“文本辅助生成器”和“信息查询工具”,而非可靠的“知识权威”或“决策者” [8]