事件概述 - 北京市通州区人民法院在审理一起股权代持引发的商事纠纷案件时，发现原告代理人提交的书面材料中包含了人工智能模型生成的虚假案例 [1][3] - 原告代理人承认其向某人工智能大模型软件提问，并直接复制粘贴了生成的参考案例，未进行真实性核验 [3] - 承办法官在判决中对原告代理人的行为提出批评，并要求其在提交参考案例和法条时进行检查，确保内容真实准确，不得放任人工智能模型生成虚假信息扰乱司法秩序 [3] 事件细节 - 原告代理人在书面意见中援引了虚构的“最高法院案例”及上海一中院的“(2022)沪01民终12345号”案件，其描述的案件事实细节、法律争议与裁判逻辑与审理中的案件高度契合 [3] - 经法官检索核实，上述案号对应的真实案件事实与代理人描述的情况完全不同 [3] - 该事件可能是国内首起公开的人工智能模型幻觉扰乱司法秩序的案例 [4] 行业影响与挑战 - 人工智能工具发展迅速且操作便捷，正迅速改变包括法律部门在内的多个领域，但随之而来的人工智能模型幻觉问题给各领域带来重大挑战 [4] - 人工智能模型会生成不正确、捏造或误导性的信息，并以令人信服的方式呈现，这种幻觉足以蒙蔽大多数人，且目前没有完全有效的解决办法 [4] - 尽管人工智能大模型通常会提示用户不要轻信其生成的内容，且无法为内容的真实性负责，但随着使用频率和普及率提高，这些提示的作用变得有限 [5] 技术特性与使用风险 - 人工智能大模型的生成逻辑基于概率统计与语境匹配，当使用者输入明确案件细节后，其生成的案例往往刻意贴合需求，事实细节和论理结论可能与使用者需求高度重合，呈现人为定制化特征 [5] - 生成的内容越是看起来“称心如意”，使用者越应提高警惕 [5] - 司法活动的核心是“以事实为依据，以法律为准绳”，这里的“事实”包括案件事实和作为先例的裁判事实 [5] 国际先例与应对措施 - 海外已发生多起律师被人工智能“背刺”的案例，例如三名美国律师因在法律文件中引用人工智能生成的虚构案例被罚款3000美元至1000美元不等，其中一人被解职 [4] - 作为使用者，不能过度依赖人工智能工具，二次核查必不可少，不能让工具代替独立思考 [6]