2026.10. 30 本文字数：1529，阅读时长大约3分钟 作者 | 第一财经 吕倩 此次治理举措披露中，OpenAI主要关注模型在训练、评估和部署过程中是否出现开发者不希望发生 的异常行为，Anthropic的自我评估主要用于识别用户对模型的恶意滥用，例如网络攻击等有害请 求。 而上述诉讼指向的是另一类风险：用户并非恶意使用AI，模型也未必出现传统意义上的越狱或失 控，却可能在正常对话中给出错误、过度自信的专业建议，并在用户反复求证时未能及时识别风险， 属于消费级产品在高风险场景中的安全边界问题。 这也意味着，AI安全治理需要关注模型是否会在普通用户信任它时给出危险建议，尤其在医疗、法 律、金融等专业领域，模型能否识别自身能力边界、及时引导用户寻求专业帮助，以及不同语言环境 下的安全表现是否一致，都需要纳入评估。 美国一宗涉及ChatGPT医疗建议的死亡诉讼，将生成式AI的安全风险再次推向公众视野。几日后， OpenAI和Anthropic相继披露最新AI监控机制，展示如何利用技术识别模型失范行为和用户滥用风 险。 一边是AI公司不断强化对模型的监控，另一边是普通用户在日常对话中可能因错误建议受到伤害。 ...