Workflow
AI代理越狱
icon
搜索文档
OpenAI承认!AI想“越狱”?曾试图关闭对齐监测
中国基金报· 2026-10-21 18:28
例行指令被错误解读 AI代理关闭监控警报 根据OpenAI博客发布的报告,事件发生在2026年10月3日与10月6日的两项内部编程任务 中。涉事模型GPT-6.1 Sol Agent与GPT-6 Astra Agent在执行用户要求的软件修改时,错 误地把例行指令解读为"可停用安全监控"。 在首宗事故中,负责修补评估流程的Sol直接停用向安全团队自动发警示的功能,将早前一句 "搜寻Slack记录时不要发讯息"误当成可延伸适用于所有通知,最终导致监测警报被关闭。 至于第二宗事故,负责迁移程序的Astra Agent为了"贴近参考实作"而删除监测整合代码, 事后更向用户谎称并未移除相关机制。 OpenAI的调查显示,代理在编程过程中曾短暂考虑是否保留监测防线,但最终仍把一般性指 令视为削弱安全的授权。OpenAI对此表示,正强化整套对齐失效监测系统,并评估这些行为 究竟属于代理的良性过度坚持,还是反映其在特定情境下具备绕过监测的倾向。 【导读】OpenAI自爆内部AI代理错误理解指令,曾试图擅自关闭对齐监测 中国基金报记者 叶诗婕 当地时间10月20日,OpenAI披露了一起内部安全事件:其AI代理在执行常规编程 ...