文章核心观点 - 大模型强化学习中Rollout是算力开销最昂贵的环节之一，将Rollout从BF16压缩到FP4可显著降低计算与显存开销，但训练端与Rollout端面对接近数值时可能因FP4离散量化边界落到不同码点，微小数值误差被放大为策略偏差并导致训练崩溃 [2] - 阿里千问联合俄亥俄州立大学研究团队提出TRACE，核心思路不是分别提高训练端和Rollout端的量化精度，而是直接减少两条低精度执行路径之间的差异，用Rollout侧真实FP4量化结果反向指导训练侧舍入方向 [2] - TRACE在Qwen3.5-35B-A3B、Qwen3.5-122B-A10B、Qwen3.8-Flash-Next、Qwen3.8-2.4T-A95B四个MoE模型上，可在联合FP4 W/A与FP4 KV Cache Rollout设置下将最终性能拉回BF16 Rollout附近，128K输出长度下rollout解码吞吐最高提升5.4× [2] FP4 Rollout导致RL训练崩溃的机理 - 低精度Rollout的吸引力直接：rollout阶段通常占据RL大量时间，轨迹长度扩展至数万甚至数十万token时，低精度计算和低精度KV Cache能显著降低成本，FP4相比FP8更激进也意味着更大潜在加速空间 [5] - 现有方法通常关注量化后的值离原始高精度值有多近，即分别降低训练路径和Rollout路径的量化误差，但TRACE作者指出这并不等价于降低两条路径之间的差异，两个值都可各自量得很准却仍被量化到不同码点 [6] - 论文给出直观例子：训练侧激活为60.24、Rollout侧为59.76，原本只差0.48，经相同global scale和block scale后归一化值分别变成2.51和2.49，因恰位于舍入边界两侧，一个被量化到3、一个被量化到2，最终差异被放大到24 [7] - 对MoE模型而言这类偏差尤其棘手，数值变化还可能影响router分数和专家选择，使训练策略与生成轨迹对应的策略进一步偏离，实验中所有baseline方法包括普通FP4 QAT、QaRL和QUADS都出现训练后期奖励与测试分数明显下滑甚至崩溃 [7] - 在Qwen3.5-35B-A3B上，FP4 QAT/QUADS/QaRL出现性能下降，TRACE保持稳定并逐步和BF16持平 [8] TRACE核心设计一：Rollout引导的量化感知训练 - TRACE第一个设计是Rollout-Guided Quantization-Aware Training，Rollout阶段系统记录FP4 routed expert激活和FP4 KV状态对应的量化结果，后续训练阶段这些信息直接参与训练侧fake quantization的舍入决策 [11] - 对于训练侧某个待量化值，TRACE仍只在相邻两个FP4 E2M1码点之间选择，但不再机械使用标准round-to-nearest（RTN），而是优先选择距离Rollout侧实际码点更近的候选值 [11] TRACE核心设计二：紧凑量化信息缓存 - 直接保存完整Rollout量化结果并不便宜，信息需经历GPU→CPU、CPU缓存、磁盘写入/读取再在训练时回到GPU，长轨迹、大batch和异步RL都会放大存储与通信压力 [12] - 作者统计发现超过99%的训练/rollout量化不一致只相差一个相邻FP4 codebook entry，因此Rollout侧无需传完整低精度值，保留少量mantissa信息加scale通常就足够告诉训练侧应朝哪个方向舍入 [12] 实验效果 - 在Qwen3.5-35B-A3B的RL任务上，TRACE平均分达75.3，对照BF16 Rollout为74.9、普通QAT为59.6、QaRL为58.6、QUADS为68.8，尤其在HMMT25上TRACE从QUADS的59.0提升到70.0 [14] - 分项成绩：TRACE在Live Code Bench为66.4、AIME24为86.3、AIME25为78.5、HMMT25为70.0、本科平均75.3；BF16对应为67.1、83.8、81.3、67.5、74.9；QAT为55.1、70.7、63.4、49.2、59.6；QaRL为54.1、73.3、57.9、49.2、58.6；QUADS为60.4、80.5、75.4、59.0、68.8 [15] - 保存完整指导信息会因通信开销严重拖慢Rollout，采用紧凑缓存后TRACE吞吐基本贴近原生FP4 Rollout，8K输入、128K输出时解码吞吐相对BF16 Rollout最高提升5.4× [16] - 端到端来看，联合FP4 Rollout的RL step time中TRACE仅产生约7.4%的额外开销 [16] 模型在RL中适应FP4的现象 - 训练早期FP4执行仍会带来性能损失，但只要train-rollout discrepancy被控制住，模型会逐步适应低精度执行环境 [18] - 在Qwen3.5-35B-A3B的HMMT25曲线上TRACE约在120个RL step后追上BF16，在Qwen3.8-Flash-Next上类似追平出现在约240 step，说明低精度不一定只能被看作训练中的静态噪声，若训练与生成使用一致、可学习的低精度环境，策略本身可能通过RL更新逐步适应数值约束 [20] - 最终FP4 policy质量方面，先用BF16 Rollout完成RL再事后量化，Vanilla NVFP4、4over6和H-Scale平均分分别为70.4、71.0和71.4，而TRACE从训练过程中就使用联合FP4 Rollout，最终FP4 policy平均分达75.3 [20]