作者 | 瀑风 编辑 | 自动驾驶之心 原文链接： https://zhuanlan.zhihu.com/p/1916810989434807458 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>点击进入→ 自动驾驶之心 『VLA』技术交流群 本文只做学术分享，如有侵权，联系删文 2025年5月，VLA的RL领域掀起了一股热潮，不仅传统的PPO、GRPO、DPO等算法纷纷被移用到VLA上， 而且各种针对VLA特殊性的创新tricks层出不穷。本文将梳理VLA领域RL算法的来龙去脉。 早期探索：iRe-VLA （Improving Vision-Language-Action Model with Online Reinforcement Learning） ★ https://arxiv.org/pdf/2501.16664 arxiv.org/pdf/2501.16664 这篇文章的核心算法是PPO，并且针对在线强化学习不稳定的问题提出了双阶段的训练范式： 具体实现上，此文没有采用已有的VLA模型结构，而是将BLIP-2 3B用于VLM backb ...

嘉宾：辛华剑 访谈：penny Era of Experience 这篇文章中提到：如果要实现 AGI， 构建能完成复杂任务的通用 agent，必须借助"经验"这一媒介，这里的"经验"就是指强化学 习过程中模型和 agent 积累的、人类数据集中不存在的高质量数据。 强化学习是 AGI 的关键解法。从 OpenAI o1 到 DeepSeek R1，我们不断在看到强化学习的潜力：DeepMind AlphaProof 被认为是"经验时代"初露端 倪的一个例子，作为第一个在 IMO 获奖的 AI，AlphaProof 借助 RL 算法自行"做题"，积累经验，AlphaProof 的案例表明，在像数学这样人类高水 平知识接近极限的领域，RL 通过互动试错可以突破瓶颈，取得超人类的成果。 以 AlphaProof 为开端，整个数学证明领域也在最近半年迎来了 AI 突破的密集期：除了 AlphaProof ，OpenAI 的 o1 模型在数学推理上展现出了惊 人表现，DeepSeek-Prover 三部曲也在形式化数学证明上不断创造新纪录。 为了理解数学和 AGI 的关系，海外独角兽访谈了 DeepSeek-Prov ...

编译：haozhen 编辑：Siqi 海外独角兽原创编译 转载请注明 Anthropic 在上周五发布了 Claude 4，这是目前最前沿的 Coding 模型，也是最强的 Agentic 模型，可 以连续编程 7 个小时。本文是对 Anthropic 两位核心研究员 Sholto Douglas 和 Trenton Bricken 最新访 谈的编译，其中，Sholto 专注于 RL scaling，Trenton 则在做机制可解释性的研究： • 2025 年在模型训练上，最大的变化是 RL 终于有效，只要有合适的反馈机制，模型就能达到专家级 人类的表现和可靠性； • 今年年底会出现可以替代初级程序员的 Agent，到明年这个时候软件工程类的 Agent 将会在实际任 务中创造价值； • 可验证奖励强化学习 RLVR 的范式已在编程和数学领域得到证明，因为这些领域很容易获得此类清 晰的信号； • 模型自我意识的发展关键在于 reward。因为模型会以某种方式追求 reward，而这种追求会深刻地影 响模型的"人格"和个性，最终带来自我意识； • 让 AI 获得诺贝尔奖比获普利策小说奖更容易，因为要让模型具备像 ...