研究背景与核心创新 - 大型语言模型发展长期受限于对大规模高质量人工标注数据的依赖，成本高昂且限制AI超越人类知识边界的潜力 [2] - R-Zero提出全新全自主框架，旨在打破数据依赖瓶颈，使模型从零开始通过自我驱动协同进化生成课程并提升推理能力 [2] - 框架核心是构建能从零数据开始自我进化的AI系统，依赖两个角色：挑战者（Challenger）和解决者（Solver） [3] 框架架构与工作机制 - 从基础LLM出发初始化两个功能独立目标协同的智能体：挑战者作为课程生成器，解决者作为学生 [6][8] - 挑战者优化目标是精准创造位于解决者能力边界的任务，即最具信息增益和学习价值的挑战 [6] - 解决者目标是通过解决挑战者提出的问题持续提升自身推理能力 [8] - 两个智能体在迭代闭环中协同进化，无需人类干预，包括挑战者训练、课程构建、解决者训练和迭代循环四个步骤 [8][9][16] - 形成完全封闭自我驱动的进化循环，AI自己生成问题、伪标签并完成训练，完全不需要外部人类数据输入 [11] 技术实现细节 - 采用自我一致性策略生成伪标签，每个问题生成10个候选答案，出现频率最高的答案被选为伪标签 [17] - 设置过滤器仅保留解决者经验正确率在25%到75%之间的"信息带"内的问题，起到难度校准和质量控制双重作用 [15][17] - 挑战者奖励函数由三部分构成：不确定性奖励最大化50%正确率时的学习效率，重复惩罚保证课程多样性 [20] 实验性能表现 - Qwen3-8B-Base模型经过三轮自我进化，数学推理能力显著提升，多个数学基准测试平均分从49.18提升至54.69（+5.51分） [18] - 展现出向通用领域的强大泛化能力，尽管训练任务集中于数学，但Qwen3-8B-Base在MMLU-Pro等通用推理基准上平均分提升3.81分 [19] - OctoThinker-8B模型经过R-Zero训练后，从Base Model的16.81分提升至R-Zero (Iter 3)的26.88分，性能提升显著 [18] 协同效应与应用价值 - 实验证明先经过R-Zero训练的基础模型再使用人类标注数据进行监督微调，能达到比直接微调更高的性能 [22] - 该框架可作为高效的中间训练阶段，最大化人类标注数据的价值 [22] 技术局限性与挑战 - 存在伪标签准确率衰减问题，从第一轮的79.0%系统性地下降到了第三轮的63.0%，后期学习监督信号包含更多噪声 [26] - 框架高度依赖存在客观可验证正确答案的领域（如数学），对评估标准主观的任务（如创意写作）难以适用 [26]