论文核心观点 - 提出了一种颠覆传统认知的后训练新方法RandOpt 该方法仅需向预训练模型权重添加单步高斯噪声并进行模型集成 无需迭代、学习率或梯度计算 即可在多项复杂任务上达到或超越传统强化学习方法(如PPO、GRPO)的性能 [1][4][7] - 揭示了大型预训练模型参数空间存在“神经丛林”现象 即预训练权重周围密集分布着大量针对特定任务的专家模型 使得简单的随机采样就能发现有效解决方案 [3][4][23] - 指出“神经丛林”的涌现依赖于模型规模和在混合多任务数据上的预训练 模型越大、预训练数据越多样 其周围任务专家的密度和多样性就越高 [20][26][28][29] 神经丛林现象的理论基础 - 传统观点认为优秀解决方案在权重空间中分布稀疏 但该研究发现在完成预训练后 大型语言模型的权重空间形成了密集的“神经丛林” [3] - 模型规模决定分布形态：小模型处于“大海捞针”状态 优秀解决方案密度极低 大模型则处于“神经丛林”状态 预训练权重周围密集分布着能提升特定任务性能的专家 [22][23] - 通过向参数量从0.5B到32B的Qwen2.5预训练模型注入1000个随机权重扰动并可视化 实验清晰呈现了缩放定律 即模型规模越大 代表更高准确率的任务改善区域就越密集 [24][26] - 1D信号预测实验表明 “神经丛林”仅在模型经过混合多任务预训练后才会出现 单一任务预训练无法形成功能多样性 [28][29][31] RandOpt算法机制与性能 - RandOpt算法定义为单步、无梯度、无学习率、无迭代、完全并行的后训练算法 操作分为两个阶段：1) 训练阶段 采样N个随机噪声生成模型副本并在小训练集上选出Top-K个表现最好的模型 2) 推理阶段 利用K个模型进行预测并通过多数投票集成 [33] - 该算法性能与基础模型规模强相关 对于经过预训练的模型 在参数量达到约1.5B时 RandOpt的性能提升开始迎来爆发 [35] - 在消耗相同训练FLOPs的前提下 RandOpt(通常设置K=50)在数学推理、代码生成、创意写作及化学任务上 绝大多数设定中追平甚至超越了PPO、GRPO和进化策略等标准后训练方法 [38] - 在训练时间上具有颠覆性优势 传统方法需数百个序列化更新步骤 时间复杂度O(T) 而RandOpt为O(1) 例如在一组200个GH200 GPU集群上训练OLMo-3-7B-Instruct模型 仅需3.2分钟即可完成并在Countdown任务上达到70%准确率 [38] 实验验证与应用拓展 - 错误归因分解表明 RandOpt的性能提升中 有19.0%来源于修正输出格式的“格式丛林” 更有12.3%来源于真正掌握正确推理的“推理丛林” 证明了神经丛林中存在掌握实质性技能的专家 [41] - 该方法同样适用于视觉语言模型 在冻结视觉编码器、仅扰动语言模型权重的情况下 RandOpt将3B参数的Qwen2.5-VL-Instruct模型在GQA视觉推理数据集上的准确率提升了12.4% [39] - “丛林”现象在文本到图像生成领域(如Stable Diffusion XL模型)中表现为“色彩丛林” 某些参数空间区域会优先生成具有特定调色板或视觉风格的图像 [41] - 为克服推理时需K次前向传播的部署劣势 研究者提出蒸馏方案 利用RandOpt筛选出的Top-50模型生成数据对基础模型进行两轮监督微调 在GSM8K上 蒸馏后的单一模型性能(84.3%)接近庞大集成模型(87.1%) 且计算成本仅占RandOpt训练成本的约2% [43]