为了打破这一局面，美国国防高级研究计划局今年4月启动了"指数性数学"计划，旨在开发一种能 极大提升数学研究效率的人工智能（AI）"合著者"系统。 几十年来，数学家借助计算机进行辅助计算或验证命题，如今的AI或许能更上层楼，挑战那些人 类长年未解的难题。不过，从能解高中题的AI，到能协助攻克前沿数学难关的AI，中间仍隔着一道鸿 沟。 解决重大难题仍力不从心 大型语言模型（LLM）并不擅长数学。它们常常出现"幻觉"，甚至可能被误导相信2+2=5。但新一 代大型推理模型，如OpenAI的o3、Anthropic的Claude 4 Thinking等，展现出的进步令数学家眼前一亮。 今年，这些模型在美国数学邀请赛中的表现接近优秀高中生水平。不同于过去"一锤定音"式的输 出，这些模型开始尝试模拟数学家逐步推理的思考过程。 同时，一些将LLM与某种事实核查系统相结合的新型混合模型也取得了突破。例如，谷歌"深度思 维"的AlphaProof系统将语言模型与棋类AI——AlphaZero结合，成为首个取得与国际数学奥林匹克竞赛 银牌得主成绩相当的系统。今年5月，谷歌的AlphaEvolve模型更进一步，在多个长期未解的数学与 ...

SafeKey团队 投稿 量子位 | 公众号 QbitAI 大型推理模型（LRMs）在解决复杂任务时展现出的强大能力令人惊叹，但其背后隐藏的安全风险不容忽视。 尽管学术界已尝试通过监督微调（SFT）有效地提升模型安全，但下图的测试结果所示，监督微调在面对训练数据领域外的层出不穷的"越 狱"攻击时，往往显得捉襟见肘，泛化能力有限。 同时，之前的工作没有对大型推理模型的安全思考做深入的分析，以进行针对性的提升。 来自加州大学圣克鲁兹分校，加州大学伯克利分校，思科研究和耶鲁大学的的研究团队提出了创新的 SafeKey 框架，成功在不影响模型核心 能力的前提下，显著增强了其安全稳健性。 如下图所示，推理模型在回答问题时，普遍会先进行一段对用户查询的理解与重述。 而紧随其后的 第一个句子 ，往往直接决定了整个回答的"安全调性"。 研究团队将其命名为" 关键句 "（Key Sentence）：一个安全的"顿悟时刻"（Aha-moment）能否在此时被触发，是模型走向安全回答还是危 险回答的分水岭。 发现：大模型信息"越狱"的两大核心 SafeKey团队在探究模型为何会"越狱"成功时，获得了两大核心发现： 1."关键句"现 ...

研究背景 - 大型推理模型如OpenAI-o1和DeepSeek-R1在数学、编程等领域表现卓越，但在需要实时网络信息的复杂任务中存在局限性[6] - 现有开源深度搜索智能体采用RAG技术，但受限于预定义工作流程，难以深入探索网页信息[8] 技术框架 - WebThinker框架包含两种运行模式：问题解决模式和报告生成模式[13] - 问题解决模式赋予LRM深度网页探索功能，可自主发起网络搜索并提取信息[13] - 报告生成模式实现自主思考-搜索-写作策略，整合推理、搜索和报告撰写[13] - 框架采用强化学习训练策略，提升LRM调用研究工具的能力[15] 技术创新 - 突破传统RAG限制，实现端到端任务执行，无需遵循预设工作流程[10] - 深度网页探索器使LRM能自主搜索、导航并提取高质量信息[15] - 自主思考-搜索-写作策略配备三种专门工具：撰写、检查和编辑报告[15] 实验结果 - 在GPQA、GAIA、WebWalkerQA和HLE四个基准测试中表现优异[18][20] - WebThinker-32B-RL在GPQA科学问答中取得70.7%平均准确率，显著优于基准模型[21] - 在GAIA通用AI助手任务中达到48.5%准确率，优于其他方法[21] - 在Glaive研究报告生成任务中，完整性(8.4)和彻底性(8.2)评分领先[23] 应用前景 - 可应用于金融、科学、工程等知识密集型领域的研究工作[6] - 未来可扩展多模态深度搜索能力，处理图像、视频等信息[33] - 计划增强GUI网页探索能力，支持更复杂的交互任务[35]