研究背景与动机 - 大语言模型在单轮推理任务中表现亮眼，但在开放式多轮交互场景中仍存在长程规划与工具交互能力不足的问题 [8] - 现有强化学习方法在平衡模型推理与多轮工具交互方面存在局限性，常因奖励稀疏和工具过用导致价值低估 [8] - 研究发现模型在工具调用后的初始生成阶段熵值显著升高，这一高熵现象未被现有方法充分利用 [14][16] ARPO方法创新 - 提出熵驱动的自适应rollout机制，在高熵工具调用步骤加大探索力度，增强推理路径多样性 [20][24] - 引入优势归因估计，优化策略更新方式，更好理解工具交互中各步骤的价值差异 [28][29] - 算法在保持计算复杂度可控的同时，实现不确定性感知的高效探索 [27] 实验设计与结果 - 在13个高难基准测试中，ARPO仅使用一半工具调用预算即显著优于主流RL方法 [3][21] - 在Qwen2.5-7B模型上，ARPO相比GRPO方法工具调用效率提升明显，同时准确率更高 [37][39] - 多任务测试显示ARPO在计算推理（AIME24 71.4%）、知识推理（HotpotQA 67.4%）和深度搜索（GAIA 61.2%）任务中均保持稳定优势 [35][41] 技术实现细节 - 采用分层奖励设计，综合考虑答案正确性、工具调用格式及多工具协作，最高可获得0.1额外奖励 [32] - 软优势估计方法在训练中表现更稳定，被设为默认优势估计方式 [31] - 工具生态覆盖搜索引擎、网页浏览智能体和代码解释器三类代表性工具 [22] 应用前景与展望 - 未来可扩展至多模态Agentic RL，探索图像、视频等多模态场景下的工具调用优化 [42] - 通过引入代码调试器、数据分析工具等扩展工具生态，提升复杂任务表现 [42] - 算法展示出良好的大规模部署潜力，可进一步优化实时动态环境中的适配性 [42]