同时，之前的工作没有对大型推理模型的安全思考做深入的分析，以进行针对性的提升。 来自加州大学圣克鲁兹分校，加州大学伯克利分校，思科研究和耶鲁大学的的研究团队提出了创新的 SafeKey 框架，成功在不影响模型核心 能力的前提下，显著增强了其安全稳健性。 SafeKey团队 投稿 量子位 | 公众号 QbitAI 大型推理模型（LRMs）在解决复杂任务时展现出的强大能力令人惊叹，但其背后隐藏的安全风险不容忽视。 尽管学术界已尝试通过监督微调（SFT）有效地提升模型安全，但下图的测试结果所示，监督微调在面对训练数据领域外的层出不穷的"越 狱"攻击时，往往显得捉襟见肘，泛化能力有限。 发现：大模型信息"越狱"的两大核心 SafeKey团队在探究模型为何会"越狱"成功时，获得了两大核心发现： 1."关键句"现象(The "Key Sentence") 如下图所示，推理模型在回答问题时，普遍会先进行一段对用户查询的理解与重述。 而紧随其后的 第一个句子 ，往往直接决定了整个回答的"安全调性"。 研究团队将其命名为" 关键句 "（Key Sentence）：一个安全的"顿悟时刻"（Aha-moment）能否在此时被触发， ...