LoRA技术的重新评估与优势 - LoRA技术近期被重新重视，研究表明在特定条件下能以更少计算资源达到与全参数微调相当性能[2] - 使用LoRA后可在同一GPU部署上并行处理任意数量适配器，实现按Token定价而非按GPU时长计费，提升部署灵活性和成本效率[3][10] - 各大AI实验室内部进行后训练时普遍使用LoRA技术，尤其在快速验证想法的实验阶段被证明有效[14] 从模型微调向强化学习的行业转型 - 只有在必须使用小参数模型的情况下微调才有必要，约90%场景中微调的ROI不高[4][18] - OpenAI o1模型发布是行业转向RL的关键转折点，RL在前沿通用模型领域投入回报明显，尤其在智能体相关任务中效果突出[19] - 公司于2025年1月决定全面转向RL，虽然初始成功概率估计仅25%，但属于高风险高回报机会，目前胜算已提升至55-60%[20] 强化学习落地的核心挑战与环境搭建 - RL落地最大障碍是训练环境搭建，这是目前唯一尚未自动化、每个任务都需要大量人工工作的环节[4][24] - 高质量模拟环境构建难度极高，需要精确复刻生产环境行为包括故障模式和程序缺陷，大多数企业缺乏此类基础设施[24][25] - World Model可能是解决环境问题的关键，它能模拟外部世界反馈并记录操作引起的状态变化，有望成为环境搭建的解决方案[51][52] 奖励函数与评估机制的创新 - 公司发布通用奖励函数Ruler，基于GRPO核心理念让语言模型对一组结果进行相对评判，该方法与GRPO配合效果远超预期[46][47] - 实验显示使用140亿参数模型训练、320亿参数模型评估的智能体在目标任务上达到最先进水平，表明不需要特别强大的评估模型[47] - 专用评判模型在常见任务中难以超越前沿AI实验室的通用模型，除非针对特殊任务拥有足够多标注数据[50] 行业生态与商业模式演变 - 开源模型目前仅生成5%的Token且占比持续下降，但企业对开源模型需求巨大，若性能达标大多数企业更愿意选择开源模型[40][41] - 闭源模型通过Token补贴维持竞争力，例如Coding领域月费200美元可消费数千美元服务，但这种补贴模式长期不可持续[41][42] - 行业大量AI推理需求仍停留在概念验证阶段，估计潜在需求为已落地规模的十倍，约90%市场因可靠性问题尚未激活[55] 智能体部署与持续学习 - 未来所有大规模部署智能体的企业都将在某个阶段引入RL，要么在部署前训练，要么在部署后持续优化[4][21] - 生产环境部署智能体面临可靠性挑战，故障模式相似且难以通过提示词更新扩展解决，需要RL和持续学习机制[54][55] - Online RL中的奖励黑客问题可通过在奖励提示中补充约束轻松解决，模型一旦找到漏洞会反复执行同样行为易于发现[56][57]

文章核心观点 - 提出一种改进的扩散策略优化算法，用于为视觉-语言-动作模型生成高质量、低方差的训练轨迹数据，以替代对大规模人类示范数据的依赖 [2] - 该方法在包含130项长时程操作任务的基准测试上，仅使用扩散强化学习生成的数据训练VLA模型，平均成功率可达81.9%，相比基于人类数据训练的模型提升5.3个百分点 [2] - 该扩散强化学习方法被证实可作为一种高效替代方案，为VLA模型生成数量充足、质量优异且方差较低的演示数据 [2] 技术方法与优势 - 该方法构建了一套以扩散强化学习为核心的VLA训练流程，其优势在于借助扩散模型的高表达能力探索复杂行为，并依托迭代去噪过程的隐式正则化生成平滑一致的演示数据 [2] - 所生成轨迹不仅比人类演示数据更平滑、一致性更强，也优于标准高斯强化学习策略生成的轨迹 [2] - 该方法是一个通用强化学习框架，可适配任意VLA架构 [6] 性能成果 - 在LIBERO基准测试集上评估，基于扩散强化学习生成数据训练的VLA模型平均成功率为81.9% [2] - 该成绩相比基于人类数据训练的模型提升5.3个百分点，相比基于高斯强化学习生成数据训练的模型提升12.6个百分点 [2] - 该方法实现了超越人类示范的性能突破 [6]

文章核心观点 - 研究团队提出了一个名为RLinf-VLA的统一高效框架，旨在解决视觉-语言-动作模型在强化学习训练中存在的框架零散、效率低下和缺乏统一比较平台的问题 [2] - 该框架通过高度灵活的资源分配设计和统一接口，可无缝支持多种VLA架构、RL算法与模拟器，显著提升了训练效率 [2] - 在仿真实验中，单一统一模型在130个LIBERO任务和25个ManiSkill任务上取得了极高的成功率，分别达到98.11%和97.66% [2][5] - 真实世界部署初步验证表明，经过RL训练的策略比监督微调策略展现出更强的泛化能力 [2][5] 框架设计 GPU分配策略 - 框架针对CPU并行与GPU并行模拟器资源利用模式的差异，支持三种GPU分配模式：共置模式、分离模式和混合模式，用户可通过配置文件轻松切换 [6][8] - 针对GPU并行模拟器，特别提出了“混合分配 + 细粒度流水线”策略，通过将单个GPU上的模拟器拆分为多个子模拟器来减少闲置时间 [8][10] - 混合细粒度流水线分配模式结合了共置和分离模式的优势，训练速度相比基准分离模式提升1.61至1.88倍 [2][35] 模型兼容性 - 框架支持LoRA这一参数高效微调方法，启用后可减少可训练参数、降低内存消耗并加速训练 [12] - 在模型类型上，目前支持OpenVLA（约70亿参数）和其扩展OpenVLA-OFT，后者优化了微调效率、推理速度与部署能力 [12] 多模拟器支持 - 框架选择ManiSkill（擅长基于物理的操作任务）与LIBERO（侧重指令驱动任务）作为主要模拟器，二者功能互补 [13] - 通过统一接口支持不同模拟器的向量化环境，并支持PPO和GRPO等多种强化学习算法 [13] 算法设计 优势函数与对数概率 - 框架支持“动作块”概念，即策略在每个时间步预测一段短期未来动作序列，并为此定义了块级和动作级两种优势函数计算方式 [14] - 支持动作级、块级与令牌级三种对数概率计算粒度，不同选项会带来不同的优化动态 [15] - 优势函数类型兼容所有粒度不细于其自身的对数概率类型，并通过广播机制处理优势值 [17] PPO设计选择 - 在评价网络设计上，为避免增加计算开销，框架让动作网络与评价网络共享大部分参数，仅在VLA模型上附加轻量级价值头 [19] - 实验表明，OpenVLA-OFT模型使用动作级价值估计通常性能更优 [19] - 部分重置模式在“一次成功”优化目标下能提升样本效率，成功率始终高于固定episode长度模式 [19][41] GRPO设计选择 - 框架为GRPO实现了轨迹长度归一化损失，以均衡成功与失败轨迹在优化中的贡献，实验显示该设置能显著提升性能 [20][43] - 成功率过滤机制会丢弃所有轨迹回报相同的组，可提升GRPO训练稳定性，但其有效性具有任务依赖性 [20][46] 实验结果 高性能表现 - 在ManiSkill的25个任务上，无论是OpenVLA还是OpenVLA-OFT模型，强化学习均带来显著性能提升，成功率相比基准提升45%至70% [21][22] - PPO算法在ManiSkill任务中始终优于GRPO，且训练稳定性更高 [22] - 在LIBERO的130个任务上训练单一模型，整体平均成功率从约65.43%提升至98.11%，性能提升约32.68个百分点 [26][28] 高效率表现 - 在GPU并行模拟器评估中，RLinf-VLA的混合模式（pipe=2）在8 GPU配置下吞吐量比基准分离模式提升1.88倍 [35] - 扩展到16与32 GPU时，混合模式通过流水线重叠计算与通信，仍比分离模式提升1.61至1.69倍 [35] - 对于CPU并行模拟器，RLinf-VLA的共置模式相比基准框架SimpleVLA-RL实现1.34至2.27倍的吞吐量提升 [35][37] 消融实验与超参数 - 动作级价值估计相比块级估计能实现更高的成功率与更低的价值损失，学习过程更有效 [39] - 有效动作掩码与轨迹长度归一化结合可带来性能提升，但其效果具有任务依赖性 [44] - 更大的轨迹批次大小有利于性能提升，且不同LoRA配置可能需要单独进行超参数调优 [48][50] 真实世界部署 - 在真实世界Franka机械臂上的部署实验对比了RL训练模型与SFT模型，任务涉及6个未见过物体的拾取放置 [51] - RL训练模型在30次尝试中成功8次，而SFT策略全部失败，显示出RL训练策略更强的零样本泛化能力 [5][51] - 除基础校准外未采用额外仿真-真实迁移技术，初步验证了基于仿真的强化学习在泛化能力上的优势 [51]

模型演进与定位 - GPT-5可被视为o3模型的迭代版本，即o3.1，其思考过程与o3一脉相承[1][4][23] - o1模型是公司第一个正式的推理模型，更侧重于技术演示，擅长解决谜题而非作为实用产品[15][17][18] - o3模型代表了AI发展的结构性转变，是首个真正实用、能熟练使用工具并持久寻求答案的模型[19][20][22] - 公司未来的方向是构建能力更强、思考时间更长、能自主与多系统互动的模型，寻求下一个重大飞跃[4][24] 模型推理过程 - 模型的推理过程类似于人类思考，是寻找未知答案的过程，可能涉及计算、查找信息或自我学习[11] - 思维链是模型推理的具体表现，通过将模型的思维过程用人类语言口语化表述出来[12] - 模型在推理中花费的时间越长，结果往往会更好，但公司需在推理质量与用户等待时间之间寻求平衡[13][14] - 公司目前将高推理模型与低推理模型同时开放给用户，并将思考时长的选择权交还用户[14] 公司内部架构与文化 - 公司工作结构是自上而下与自下而上结合，整体专注于三到四个核心项目，研究人员在项目内享有自由[31][33] - 研究部门约600人，信息高度透明，公司认为研究受阻的风险远高于知识产权泄漏[33] - 公司能快速发布产品（一年内从o1到GPT-5）得益于良好的运营结构、巨大的发展势头及顶尖人才的高效产出[33] - 员工大量使用内部工具，例如ChatGPT和CodeX，有员工每月为ChatGPT支付200美元费用[9][34] 强化学习（RL）的战略意义 - 强化学习是公司多次转折的关键，语言模型是预训练和强化学习的结合，此为自2019年以来的研究核心[35][36] - 强化学习通过奖励和惩罚机制训练模型，关键在于策略（模型行为）和环境（交互式反馈）[37][38] - GPT-4最初在长回答中缺乏连贯性，是通过基于人类反馈的强化学习（RLHF）解决了该问题，从而创造了“ChatGPT时刻”[41][42][43] - 公司近期在编程竞赛中的优异表现，源于长期使用编程谜题作为测试平台来尝试强化学习想法[45][46] - 强化学习可应用于任何能评估结果并计算反馈信号的领域，但其规模化难度较高，过程精细复杂[47][48][49] 行业影响与外部贡献 - DeepSeek团队提出的GRPO（组相对策略优化）算法获得肯定，其开源推动了美国实验室更快地训练推理模型[7][51] 未来方向与AGI路径 - AI智能体化是大势所趋，由基础推理驱动的智能体允许模型长时间独立思考以解决编程、预订等复杂任务[53] - 模型对齐问题本质上是一个强化学习问题，旨在引导模型行为符合人类价值观，且该问题将随文明演进永无止境[54] - 通往AGI的道路上，预训练和强化学习二者缺一不可，公司反对“纯强化学习是唯一途径”的观点[56][57] - 公司相信目前走在正确的AGI道路上，未来的变化将是添加新的复杂组件，而非完全推翻现有架构[59]

作者 | Jason@知乎 转自 | 纯干货！VLM RL如何涨点的实践和思考 原文链接： https://zhuanlan.zhihu.com/p/1952370307714220903 点击下方 卡片 ，关注" 大模型之心Tech "公众号 戳我-> 领取大模型巨卷干货 本文只做学术分享，如有侵权，联系删文 ，欢迎添加小助理微信AIDriver004做进一步咨询 前言 过去的一个月在比较高强度做RL，最近终于有了一些阶段性成果，整理了一下整体的迭代思路和最近踩过的坑，分享出来，与各位共勉。结果 上，部分Benchmark取得了同size 模型1-2个点的涨幅，最高的单项能有8-10个点的涨幅。这个过程最大的感触是 2. 没做好数据基础就开始研究新算法的，要小心了，很可能长期做不出结果； 3. 基础的RL算法，就能有较为明确的涨点，即使目标是做开源SOTA，也可以从最简单但正确的事情做起，千里之行，始于足下。 RL的目标 关于RL，我们不是第一批吃螃蟹的人，有很多前人的工作可以追溯，所以是站在巨人的肩膀上做事，对结果有一定预期。因此，基于开源tech report的结果和认知，我认为RL至少应该达成以下两个 ...

文章核心观点 - 强化学习与预训练的结合是当前AI发展的核心路径，两者相互依存，共同推动模型能力的提升[16][50] - 推理能力是AI发展的关键里程碑，其本质是模型寻找未知答案的思考过程，而不仅仅是简单的搜索[7][9] - 公司通过持续迭代其模型架构和训练方法，实现了从技术展示到实用产品的跨越，并确立了在行业中的领先地位[13][15][62] 强化学习与预训练的结合 - 预训练是基础，为强化学习提供必要的知识基础，没有预训练，强化学习难以奏效[16][22] - 强化学习必须建立在强大的预训练之上，而预训练同样需要强化学习的强化与闭环才能成功[3][50] - 公司自2019年就确立了“在大量数据上训练大型生成模型，然后进行强化学习”的战略路线，并延续至今[17] - 强化学习被比喻为训练狗的过程，通过奖励期望行为和惩罚不期望行为来优化模型策略[19][20] - 与相对标准化的预训练相比，强化学习更为复杂和精细，涉及更多动态组件，大规模扩展时挑战更大[33] 推理模型的技术演进 - 推理被定义为“找到一个未知答案的过程”，这比简单的“回答问题”需要更长的时间和更复杂的工作[7][9] - 思维链是模型将内部思考过程以人类语言和概念表达出来的能力，本质上是文字编码的思考过程[10][11] - 公司在推理模型的开发上遵循逐步扩展的训练实验路径，从展示能力的o1模型，到真正有用的o3模型，再到被视为o3迭代的GPT-5模型[13][15] - 模型思考时间的权衡由用户体验驱动，公司在产品层面提供不同模式让用户在输出质量和等待时间之间进行选择[12] - 编程能力是推理模型能力的一个自然副产品，研究人员常用编程问题测试新想法，使模型在该领域表现突出[43] 行业竞争与开源影响 - 公司在发布o1模型后，对许多研究实验室产生了意外冲击，而开源模型如DeepSeek的GRPO算法为其他实验室提供了快速跟进的操作说明书[30][32] - 数据标注行业必须不断自我更新，因为AI能力快速提升，几个月前需要人工标注的任务可能很快就能由AI自动完成[27] - 行业内的研究组织方式趋向于集中资源推进少数核心项目，而非进行大量分散的小赌注，以确保研究深度和效率[60] 智能体与未来发展方向 - 智能体系统的核心是让模型能够长时间自主思考，与更多系统和信息源交互，以完成复杂的长任务清单[34][35] - 目前大多数针对语言模型的强化学习仍是在线训练，但在与真实用户隔离的环境中进行，实时在线学习因安全考虑尚未大规模应用[36][38] - 对齐问题在某种程度上被视为一个强化学习问题，需要通过引导模型产生特定行为来实现，但这是一个持续演变的挑战[38][39] - 通向AGI的终极问题在于模型何时能在不依赖大量外部干预和人类修正的情况下实现自我改进[47] - 未来的发展路径更可能是在现有体系上持续叠加新方法，逐步淘汰旧元素，而非彻底推翻重来的转向[52]

AI Agent技术当前面临的挑战 - 当前AI Agent在用户体验上与传统task bot相比并无显著提升，甚至更差[1] - Planning阶段耗时巨大，工具增多后模型准确率下降，使用旗舰模型进一步增加延时[2] - Planning质量不高，模型构建的复杂工作流可用率远低于人类水平，简单工作流使用判别式小模型性能更好[2] - Reflection策略容易陷入自我内耗和死循环[3] Planning速度问题的本质与解决方案 - 核心问题是工具发现和参数对齐成本被低估，从编译时确定的工具编排变为运行时动态选择，搜索空间随工具数量指数级膨胀[5] - 解决方案包括工具层缩小范围分层治理，先用意图分类器将请求路由到具体域，每个域只暴露5-10个核心工具[5] - 将串行改为DAG并行执行，LLMCompiler支持将调用计划编译成有向无环图，并行化可使链路耗时缩短20%[6] - 在项目开始节点增加路由策略，简单任务路由给SLM或专用执行器，复杂规划才使用强推理模型[6] Planning质量问题的本质与提升方案 - 本质原因是模型生成的文字描述计划缺乏可执行性和全局约束，传统workflow有明确的分支条件和异常处理[8] - HiPlan方案将计划拆分为里程碑和局部提示两层，高层管战略目标，低层负责战术细节，里程碑可离线积累复用[8] - Routine实践提供结构化计划框架，强制模型输出符合语法的计划，可将企业场景工具调用准确率提升平均20多个百分点[10] - 搜索式规划如LATS引入MCTS，展开多条路径用Verifier评分选最优，HyperTree和Graph-of-Thoughts支持非树形图结构[12] - 基于强化学习的多轮训练可有效提升agent长程任务性能，例如RAGEN、LMRL-Gym等研究实现明显指标提升[14] Reflection死循环问题的根源与修复方法 - 根本原因是缺少细粒度可计算信号和明确停机条件，模型反思仅靠主观判断易强化错误假设[15] - UFO研究使用最简单的一元反馈如Try again进行多轮RL，不需要详细错误诊断即可学会自我改进[17] - Tool-Reflection-Bench将错误修复过程变为明确可控动作，模型学会基于证据诊断错误并提出可执行后续调用[18] - 工程层面可设置max_rounds硬性上限、no-progress-k连续无改进则停、state-hash去重、cost-budget预算终止等机制[20] AI Agent技术发展趋势与价值 - Agent现阶段问题需结合强化学习，构建多轮交互特定环境，让模型学到稳定推理执行能力[20] - 端到端RL将整个Agent视为策略网络，直接从环境反馈学习，涌现规划、工具使用、反思等能力，是未来技术趋势[20] - AI Agent是LLM在现实场景业务落地最有价值的技术方向，Agent能力正逐步内化为模型能力[21] - RL契合Agent在垂直领域现实环境的问题模拟，工具高度封装化和运行环境可迁移性使sim2real难题不再成为掣肘[21] - 通过RL训练的Agent模型具备很高实用价值且价值持续扩大，同时降低了应用下限并提升了能力上限[21]

研究背景与核心观点 - 视觉-语言-动作大模型在具身智能领域潜力巨大，但当前主流的有监督微调方法在面对新环境或任务时泛化能力有限 [1] - 清华大学研究团队首次系统性揭示了强化学习在提升VLA模型泛化能力上的独特优势，并提出了全面的评测基准和高效训练方法 [1][3] - 强化学习微调VLA模型能显著提升语义理解和任务执行的鲁棒性，在视觉变化场景下保持与有监督微调相当的表现 [3] 研究方法与模型基础 - 研究采用目前最先进的开源OpenVLA模型为基础，该模型从Llama2-7b微调而来，接收RGB图像和指令，输出离散动作token控制机械臂 [4][6] - 团队构建了涵盖视觉、语义和执行挑战的全新评测基准，系统对比强化学习和有监督微调在泛化性上的表现 [3][19] 强化学习方法比较 - 测试了三种在大语言模型领域广受认可的强化学习算法：PPO、DPO和GRPO [8] - 在机器人控制这一多步决策任务中，经典的PPO算法展现出显著优势，而专为语言模型设计的DPO和GRPO难以高效学习 [15] - PPO的优势源于机器人任务的部分可观测马尔可夫决策过程特性，每个动作都会改变环境状态的非平稳性可能破坏了GRPO的优势估计稳定性 [15] - DPO面临的挑战在于稀疏奖励结构难以区分轨迹质量，以及离线数据与在线执行之间存在显著的分布偏移 [15] 高效PPO训练方案 - 提出共享Actor-Critic架构设计，让Actor和Critic共享同一个主干网络，仅添加轻量级MLP作为价值头，使显存占用减少45%，训练速度提升35% [12] - 使用140条高质量轨迹对模型进行预热，让后续的强化学习收敛速度提升50%，大幅减少所需的环境交互次数 [14] - 将PPO训练轮次设为1就已足够，更多更新轮次无法提升性能反而增加训练时间，整个训练过程在单张A100 GPU上仅需42小时即可收敛 [14] 有监督微调与强化学习性能对比 - 有监督微调在演示轨迹数量达到16,000条时性能趋于饱和 [17] - 强化学习在训练分布内任务性能与有监督微调相当，但在分布外任务上取得了42.6%的性能提升，展现出更强的泛化性 [18] - 强化学习在语义理解任务上表现出明显优势，特别是在处理未见物体的抓取任务时 [21] - 在执行鲁棒性方面强化学习大幅领先，无论是物体位置变化、机器人初始姿态偏移，还是任务执行中途的物体移位，都展现出显著更强的适应能力 [21] - 在视觉泛化上，两种方法表现相当 [21] 案例分析与深层差异 - 在强噪声干扰下，有监督微调策略会在抓取物体后反复掉落，而强化学习策略能够稳定完成任务 [23] - 面对未见物体时，有监督微调容易陷入重复尝试抓取已持有物体的死循环，强化学习则能正确判断并完成放置 [23] - 强化学习探索了更广阔的工作空间和更丰富的末端执行器姿态，而有监督微调的轨迹紧密聚集在演示数据的运动规划路径周围，这种更广泛的覆盖解释了强化学习在执行任务上的优越泛化能力 [23]

研究背景与核心问题 - 视觉-语言-动作大模型面临关键挑战：当前主流的有监督微调训练方式在遇到新环境或任务时容易出错，难以实现类人般的泛化能力 [2] - 研究核心问题：探索强化学习能为VLA带来哪些独特的泛化优势，并与有监督微调进行系统性对比 [2] - 清华大学研究团队在NeurIPS 2025发表文章，首次系统性揭示强化学习在提升VLA泛化能力上的独特优势 [2] 研究方法与实验设计 - 研究团队构建了涵盖多种视觉、语义和执行挑战的全新评测基准，系统对比强化学习和有监督微调在提升模型泛化性上的表现 [4] - 采用目前SoTA之一的开源OpenVLA模型为基础进行研究，该模型从Llama2-7b微调而来，接收RGB图像和指令，输出离散动作token控制机械臂行动 [7] - 测试三种在大语言模型领域广受认可的强化学习算法：PPO、DPO和GRPO [9] 强化学习方法比较结果 - 在机器人控制这一多步决策任务中，经典的PPO算法展现出显著优势，而专为语言模型设计的DPO和GRPO难以高效学习 [11] - PPO优势源于机器人任务的部分可观测马尔可夫决策过程特性，每个动作都会改变环境状态，这种非平稳性可能破坏了GRPO的优势估计稳定性 [11] - DPO面临的挑战在于稀疏奖励结构难以区分轨迹质量，以及离线数据与在线执行之间存在显著的分布偏移 [11] 高效PPO训练方案 - 共享Actor-Critic架构设计：让Actor和Critic共享同一个主干网络，仅在最后添加轻量级MLP作为价值头，显存占用减少45%，训练速度提升35% [13] - VLA模型预热策略：使用140条高质量轨迹对模型进行预热，让后续的强化学习收敛速度提升50%，大幅减少所需环境交互次数 [15] - 最小化PPO训练轮次：将PPO训练轮次设为1就已足够，更多更新轮次无法提升性能反而增加训练时间，整个训练过程在单张A100 GPU上仅需42小时即可收敛 [15] SFT与RL性能对比 - 有监督微调在演示轨迹数量达到16,000条时性能趋于饱和，无论是训练分布内还是分布外新物体/桌面的性能都达到上限 [18] - 强化学习在收敛时训练分布内任务性能与有监督微调相当，但在分布外任务上取得42.6%的性能提升，展现出更强的泛化性 [19] - 基于ManiSkill仿真器构建全面评测基准，从视觉、语义和执行三个维度系统地对泛化能力进行拆解 [21] 泛化能力具体表现 - 强化学习在语义理解任务上表现出明显优势，特别是在处理未见物体的抓取任务时 [23] - 在执行鲁棒性方面大幅领先，无论是物体位置变化、机器人初始姿态偏移，还是任务执行中途的物体移位，强化学习都展现出显著更强的适应能力 [23] - 在视觉泛化上，两种方法表现相当 [23] 深层差异与影响 - 在强噪声干扰下，有监督微调策略会在抓取物体后反复掉落，而强化学习策略能够稳定完成任务 [26] - 面对未见物体时，有监督微调容易陷入重复尝试抓取已持有物体的死循环，强化学习则能正确判断并完成放置 [26] - 执行轨迹分布差异：强化学习探索了更广阔的工作空间和更丰富的末端执行器姿态，而有监督微调的轨迹紧密聚集在演示数据的运动规划路径周围 [26] - 强化学习在构建真正通用的具身智能体中具有核心价值，能够通过试错学习、自主适应新环境的能力在复杂多变的应用场景中愈发重要 [25]

文章核心观点 - 大模型扩展至百亿、千亿级后，Scaling Law的边际效益开始递减，行业焦点从预训练转向后训练阶段[2] - 后训练通过RLHF、RLAIF、DPO、RLVR等方法提升模型推理能力和对齐效果，成为LLM走向高阶智能的必经之路[3][12] - OpenAI o系列、DeepSeek R1、Google Gemini等以推理为核心的模型均通过强化学习后训练提升能力[3][16] 从预训练到指令微调的演进 - 基础模型通过大规模文本和图像数据预训练，目标为预测下一个token，但该目标限制模型在实际应用中的效用[7][8] - 后训练使用规模更小但质量更高的数据，核心目标是对模型行为进行对齐并强化预训练阶段积累的能力[11] - 主流后训练技术包括监督微调和基于人类反馈的强化学习等[11] 监督微调基本原理 - SFT通过指令-回答对数据集微调预训练模型，将其转化为能遵循用户指令的模型[21] - SFT数据集规模通常为1万到10万个样本，对缺陷极为敏感，少量低质量样本可能导致模型学习错误行为[25] - SFT数据质量常见问题包括标签噪声、分布不匹配和伪推理三类，需通过过滤、验证和数据增强方法减轻风险[26][27] - SFT损失函数是在给定输入x条件下生成正确序列y的负对数似然，通过交叉熵实现[33][35] 强化学习后训练技术 - 强化学习是后训练中最复杂且最有效的微调方式之一，通过最大化奖励信号进行优化[39][40] - RLHF借助人类偏好训练奖励模型，帮助模型在日常对话中表现更优并对齐安全性与语言风格[42] - RLAIF通过LLM与书面规则结合实现监督信号自主扩展，RLVR使用可验证信号提升数学推理与代码能力[42] - 常用RL算法包括PPO、GRPO、REINFORCE和DPO，其中GRPO因去掉单独价值网络降低计算成本而更受欢迎[53][55] 后训练模型评估方法 - 后训练评估需融合自动评估和人工评估等多种方法，以覆盖模型质量各个方面[57][58] - 自动评估快速廉价，人工评估是评估模型主观质量的黄金标准但成本高且易受主观因素影响[59] - 人工评估包括专家标注、用户自评和混合模式等多种设置，适用于不同场景[60]