henry 发自 凹非寺 量子位 | 公众号 QbitAI 学好数理化，走遍天下都不怕！ 这一点这在大语言模型身上也不例外。 大家普遍认同：具备更强数学能力的模型往往也更智能。 但，常识就是用来打破的。 最近，来自CMU的团队发现，一些数学好的模型并没有将它们的"天赋"带到其他更加通用的领域。 研究发现， 只有用强化学习（RL）训练的模型才能将数学推理技能广泛迁移到其他任务上。而用监督微调（SFT）训练的模型则表现出有限 的迁移甚至没有迁移。 网友直呼：又一个 苦涩的教训（bitter lesson） 。 这数学题，不做也罢？ 很明显，人们训练大模型并不只是让它来做数学题的。 研究者之所以热衷于提高模型的数学表现，是因为希望它能够把数学那里学到的严密逻辑应用到其他更广泛的领域。 但在此之前，我们有必要知道，对于一个大模型，专门优化数学推理（math reasoning），它在其他任务（推理任务、非推理任务）上会变 得更好，还是更差？ 换句话说： 做数学推理训练，会不会帮助或者损害模型在其他领域的能力？ 为了解决这一疑问，研究评估了20多个模型在数学推理、其他推理任务（包含医学推理、医学推理、智能体规划）和非推 ...

点击下方 卡片 ，关注" 具身智能 之心 "公众号 作者丨 GianlucaMonaci 编辑丨具身智能之心 本文只做学术分享，如有侵权，联系删文 >> 点击进入→ 具身智能之心 技术交流群 更多干货，欢迎加入国内首个具身智能全栈学习社区 ： 具身智能之心知识星球 (戳我) ， 这里包含所有你想要的。 研究背景与核心问题 图像目标导航（Image goal navigation）需要两种关键能力：一是核心导航技能，包括检测自由空间、障碍物 及基于内部表征做决策；二是通过比较视觉观察与目标图像计算方向信息。当前主流方法要么依赖专门的图 像匹配，要么预训练计算机视觉模块进行相对位姿估计。 研究聚焦于一个关键问题：该任务能否如近期研究所说，通过强化学习（RL）对完整智能体进行端到端训 练来高效解决？若答案为肯定，其影响将超出具身AI领域，有望仅通过导航奖励来训练相对位姿估计模型。 核心研究内容与方法 关键架构选择 研究探讨了多种架构设计对任务性能的影响，核心在于如何支持图像间的隐式对应计算，这对提取方向信息 至关重要。主要架构包括（figure 2）： 实验设计 Late Fusion ：分别编码观察图像和目标图像 ...

一水 发自 凹非寺 量子位 | 公众号 QbitAI 全网翘首以盼的 DeepSeek-R2 ，再次被曝推迟！ 据The Information报道，由于DeepSeek CEO梁文锋始终对R2的表现不满意，因此R2迟迟未能发布。 此外，他们还援引两位国内知情人士的消息称，R2研发进程缓慢可能是由于 缺少英伟达H20芯片 。 要知道R1的训练总计耗费了3万块H20 （国内特供版） 、1万块H800和1万块H100。 所以在H20吃紧的情况下，预计耗费更多算力资源的R2难免受到波及。 事实上，这不是R2第一次被曝项目延期了，最早能追溯到今年4月—— 一览R2"难产"始末 仔细一梳理，原来人们对R2的期待， 早在V3新版本出来后就开始了 。 去年12月底，DeepSeek发布了至今被视为"性价比代表"的DeepSeek-V3模型。到了今年3月24日，官方发布公告称对V3进行了一次升级， 新版本代号为V3-0324。 首次提出通过在线强化学习（RL）优化原则和批判生成，实现推理时扩展。 虽然官方轻描淡写只说是"小版本升级"，但很多人实测下来可一点也不小。 于是人们开始推测，在V3-0324已经取得明显进步的情况下， ...

大语言模型的说服能力研究 - 顶尖大模型能生成条理清晰的说服语段 在Reddit等平台以假乱真 但缺乏心智感知能力成为发展瓶颈 [3] - 成功说服需精准洞察对方立场和思维过程 即心理学中的「心智理论」(ToM) 当前大模型在对话中缺乏心智感知导致两个缺陷：仅围绕核心论点讨论 无法根据论点联系提出新角度 仅重复己方观点 无法因应对方态度变化调整策略 [4][6] ToMAP模型架构创新 - 引入两大心智模块：反驳预测器通过提示词激活模型预判反对观点的能力 生成的反驳观点与真实被说服者语义高度相似 态度预测器动态评估对方对反论点的态度倾向 使用BGE-M3文本编码器与MLP分类器实现 [9] - 采用强化学习训练模型 说服力得分衡量对方态度变化 并引入格式奖励、重复惩罚等辅助信号优化生成质量 [11] 实验性能表现 - 基于Qwen-2 5-3B的ToMAP在CMV、Anthropic、args me数据集测试中 平均说服效果达17 48 显著优于基线模型和无心智模块的RL版本 超越GPT-4o与DeepSeek-R1等更大参数模型 [14] - ToMAP在10轮长对话中说服力保持稳定增长 而基准模型和常规RL模型说服力随轮次增加趋于饱和或下降 [17] - 训练轨迹显示ToMAP重复度惩罚保持低位 思考长度显著高于基线 更倾向使用理性策略而非情绪煽动 [15][16] 技术突破与行业意义 - ToMAP首次在大模型说服任务中实现对手建模与策略灵活性 通过心智模块使AI具备初步社会认知特征 [19][20] - 该框架证明小模型在适当训练和模块设计下可超越大参数模型 为构建可信AI交流系统提供新思路 [14][21]

当前，Agentic RAG（Retrieval-Augmented Generation）正逐步成为大型语言模型访问外部知识的关键路径。但在真实实践中，搜索智能体的强化学习训练并未展现 出预期的稳定优势。一方面，部分方法优化的目标与真实下游需求存在偏离，另一方面，搜索器与生成器间的耦合也影响了泛化与部署效率。 我们（UIUC & Amazon）提出的 s3（Search-Select-Serve） 是一种 训练效率极高、结构松耦合、生成效果导向的 RL 范式 。该方法使用名为 Gain Beyond RAG (GBR) 的奖励函数，衡量搜索器是否真的为生成带来了有效提升。实验表明，s3 在使用仅 2.4k 训练样本 的情况下，便在多个领域问答任务中超越了数据规模大百 倍的强基线（如 Search-R1、DeepRetrieval）。 论文标题：s3: You Don't Need That Much Data to Train a Search Agent via RL 研究动机 RAG 的发展轨迹：从静态检索到 Agentic 策略 b. Search-R1 ：将检索与生成联合建模，以最终答案是否 Exa ...

RaML框架核心观点 - 大语言模型(LLM)的推理过程可类比为梯度下降优化过程，推理轨迹中的每个令牌对应参数的一次隐式更新[2] - 研究团队通过理论推导证明Transformer模型中增加的推理轨迹令牌会内化为对模型参数的更新[2] - 实证验证显示随着推理轨迹解码，模型对正确答案的置信度逐步上升，证实推理轨迹作为参数更新的合理性[4] 元学习视角下的LLM推理 - 将LLM推理训练置于元学习框架下解释，每个具体问题视为独立任务[7] - 推理轨迹承担"内循环优化"角色，动态调整内部参数适应特定任务[8] - 外循环优化基于内循环结果调整"学习策略"，形成双循环机制实现泛化能力[8] - 该框架统一解释LLM在不同训练策略、推理策略和任务泛化上的表现[9] 训练方法对比 - 有监督微调(SFT)模型相比纯强化学习(RL)模型在数学基准上表现更优[10] - SFT提供"最优梯度指导"，对较小模型收益显著(Pass@8提升31%，mG-Pass@8提升175%)[13] - RL理论上限更高但需要更强基座模型，可采用SFT+RL混合训练策略[12] 推理轨迹特性 - 更长的推理轨迹对应更好的内循环优化效果，与传统优化算法迭代次数原理类似[14] - "反思"令牌能显著改变模型置信度，帮助跳出局部最优解[15][17] - 强制结束思考过程的令牌序列可能导致模型停留在次优解[18][20] 跨任务泛化能力 - 仅在数学推理训练即可提升科学推理和代码推理任务表现[21] - 模型学习到普适推理特征，通过元学习机制快速适应新任务[23] 实践优化策略 - 增加每个问题的训练轨迹数量(相当于扩大元学习支撑集)可提升推理表现[25] - 对长推理轨迹进行摘要提炼，在保持性能同时显著降低解码开销[30] - 未来可探索更高效的推理轨迹提取方法及任务配比优化[31] 研究价值 - 为理解大模型推理提供全新视角，揭示其与元学习、梯度下降的关联[32] - 理论框架具有实践指导意义，已开源代码和论文供进一步研究[32]

强化学习（RL）到底是语言模型能力进化的「发动机」，还是只是更努力地背题、换个方式答题？这个问题，学界争论已久：RL 真能让模型学会新的推理 技能吗，还是只是提高了已有知识的调用效率？ 过去的研究多数持悲观态度：认为 RL 带来的收益非常有限，有时甚至会让模型「同质化」加重，失去多样性。然而，来自英伟达的这项研究指出，造成这 一现象的根本原因在于：数学、编程等任务在 base model 的训练数据中被过度呈现，以及 RL 训练步数不足。 论文题目：ProRL: Prolonged Reinforcement Learning Expands Reasoning Boundaries in Large Language Models 链接：https://arxiv.org/pdf/2505.24864 ProRL 来了！长期训练 = 推理能力质变！ 由 NVIDIA 团队提出的 ProRL（Prolonged Reinforcement Learning）框架，将 RL 训练步数从传统的几百步大幅提升至 2000 步以上，释放了小模型潜 藏的巨大潜力。结果令人震惊： KL 正则化 + 周期性策略重置 这一突 ...

机器之心报道 编辑：张倩 「尽管经过 SFT 的模型可能看起来在进行推理，但它们的行为更接近于模式模仿 —— 一种缺乏泛化推理能力的伪推理形式。」 随着 OpenAI 的 o1/o3 和 Deepseek-R1 等具备强大推理能力的大语言模型相继问世，学界普遍采用「监督微调 + 强化学习」的两阶段训练范式：先通过推理数据进 行监督微调（SFT），再通过强化学习（RL）进一步提升性能。这种成功模式启发了研究人员将其优势从纯文本领域拓展到视觉 - 语言大模型（LVLM）领域。 但近日的一项研究成果却给出了一个惊人的发现：「SFT 可能会阻碍学习 —— 经常导致出现伪推理路径，而 RL 则是在促进真正的多模态推理！」 这个发现来自加州大学圣克鲁兹分校和德克萨斯大学达拉斯分校等机构的一个研究团队，他们深入探讨了「SFT+RL」这一经典范式在视觉语言模型开发中的适用 性，其中重点关注了两个核心问题：1）SFT 与 RL 在多模态推理中分别产生何种独特作用？2）这种两阶段训练对 LVLM 的推理能力是否确有必要？ 论文标题： SFT or RL? An Early Investigation into Training ...

大模型强化学习有效性研究 - 核心观点：虚假奖励（随机/错误信号）在Qwen-Math模型上能显著提升数学推理能力，但对其他模型无效，挑战了强化学习依赖高质量监督信号的传统认知[5][9][16] 实验发现 虚假奖励效果 - 随机奖励使Qwen2 5-Math-7B在MATH-500准确率提升21%，错误奖励提升25%，接近真实奖励的28 8%增幅[5] - 仅要求答案包含`\boxed{}`格式的虚假奖励使Qwen2 5-1 5B准确率绝对提升49 9%，但损害Llama3和OLMo2性能（分别降低7 3%和5 3%）[23] 模型特异性 - 虚假奖励仅对Qwen系列有效：Qwen-Math-7B代码推理频率达65%，RLVR训练后提升至90%以上[28][34] - Llama3和OLMo2等模型无法从虚假奖励中获益，甚至出现性能下降[17][23] 机制分析 预训练策略影响 - Qwen-Math通过RLVR强化了预训练已有的代码推理能力（Python代码生成频率与性能强相关）[27][34] - 虚假奖励通过GRPO裁剪触发"集中效应"，使模型聚焦现有优势策略而非学习新能力[46] 策略转换收益 - Qwen-Math从自然语言推理转向代码推理时，单问题性能提升55%（虚假奖励）至60 2%（真实奖励）[36] - 模型总增益：Qwen2 5-Math-7B提升23 5%，1 5B版本提升28 5%[37] 方法论启示 - 当前RLVR研究过度依赖Qwen模型，结论可能无法泛化至其他架构[21][25] - 建议未来研究需跨模型验证，并优先分析预训练获得的推理策略[50]

鹭羽 发自 凹非寺 量子位 | 公众号 QbitAI 仅需一个强化学习 （RL） 框架，就能实现 视觉任务大统一 ？ 现有RL对推理和感知任务只能二选一，但"大模型六小强"之一 MiniMax 表示：我全都要！ 最新开源 V-Triune （视觉三重统一强化学习系统） 框架，使VLM 首次 能够在单个后训练流程中，联合学习和掌握视觉推理和感知任务。 通过 三层组件设计 和 基于动态交并比 （IoU） 的奖励机制，弥补了传统RL方法无法兼顾多重任务的空白。 甚至基于V-Triune，MiniMax还一步到位，贴心地给大家开发了全新的 Orsta （One RL to See Them All） 模型系列 （7B至32B） ，在 MEGA-Bench Core基准测试中从+2.1%显著提升至+14.1%。 值得注意的是，在论文的作者一栏，MiniMax创始人兼CEO 闫俊杰 也参与了这项研究。 目前V-Triune框架和Orsta模型都在GitHub上实现全面开源，点击文末链接即可跳转一键获取。 那话不多说，咱们直接上细节。 推理感知"两手抓" 视觉任务可以分为 推理 和 感知 两类，在当前，RL研究主要集中于数 ...