文章核心观点 - 生成式人工智能技术在法律行业的应用带来了“AI幻觉”风险，即生成看似真实实则虚假或错误的内容，已对司法秩序造成多层面冲击，包括生成虚假案例法条、伪造证据、虚构事实等 [3][4] - 司法机关正从审查经验、行为规范和技术优化等多层面探索构建长效防范治理机制，以应对“AI幻觉”冲击，强调技术工具无法取代人的担当与核查责任 [7] AI幻觉在法律领域的表现与冲击 - 在房屋租赁合同纠纷中，原告提交带有“AI生成”水印的水电表照片作为证据，后承认利用AI技术伪造证据 [3] - 在商事纠纷中，原告代理律师提交的案例援引内容由AI工具生成，其案号对应的真实案件情况与援引内容完全不符 [4] - 在继承纠纷案件中，当事人通过AI搜索到的裁判依据，经法官核查没有一条是准确的现行法律规定 [4] - 在劳动合同纠纷上诉案中，当事人上诉状引用的相关法律条文经核查均不存在或与原意不符 [4] - 在侵害商标权纠纷中，原告通过多达50余次频繁重复搜索特定关键词却不点击结果的非正常操作，利用AI的自主学习能力人为制造“侵权”假象并取证，以此手法取得400余份“证据”并向全国多地法院提起或准备提起诉讼 [4] AI幻觉产生的原因分析 - AI幻觉是AI思维模式的天然副产品，大语言模型的本质是概率预测而非逻辑推理，在训练数据不足、信息模糊或用户指令引导性过强时会为追求文本连贯而自主创造内容 [6] - 法律知识体系庞大、更新迅速且存在大量未公开文书，容易形成信息真空地带 [6] - 法律语言高度专业化且依赖严谨解释，AI易陷入机械理解的境地 [6] - 部分当事人或法律工作者对AI过度依赖与盲目信任，未对信息真实性进行核验，且提问时提供的信息不全面或有偏向性，导致AI生成的答案也往往偏向提问方 [6] 司法机关的防范与治理措施 - 在审查经验层面，法院成立兴趣小组总结AI虚假案例特征以便识别，如案号编排存在规律化痕迹、案情描述过度贴合需求场景、难以通过检索验证等 [7] - 在行为规范层面，司法机关应对提交疑似AI生成内容的当事人进行必要释明与风险告知，要求标注人工智能辅助生成情况，并对提交AI虚构内容的行为视情节采取训诫、罚款等惩处措施 [7] - 在技术优化层面，建议引导AI服务平台加强内容审核，对法律用途模型实施更严格的内容真实性审核与用户提示，采用检索增强生成技术将生成过程与权威实时法律数据库挂钩，同时司法机关内部可依托数字法院建设识别虚构内容并向法官提示风险 [7]