文章核心观点 - Agentic AI正经历从“外部流水线”到“模型原生”的范式迁移，其核心能力（规划、工具使用、记忆）正被内化到模型参数中 [1] - 驱动此范式转变的核心是“LLM + RL + Task”统一框架，通过强化学习将预训练、后训练与推理循环结合，使模型从被动组件转变为可从环境互动中学习的目标驱动体 [1][3] - 未来趋势不仅是更高的自治度，更是模型与环境的深度耦合与共生，标志着从“构建会用智力的系统”走向“通过经验自进化的智能” [1][44] 问题背景 - 当前生成式AI多为“反应式输出”，缺乏面向目标的长期推理与环境交互能力 [3] - 早期智能体系统采用流水线范式，将规划、工具使用、记忆三大核心能力放在外部编排中，导致系统脆弱且难以应对非预期情境 [3] - 新范式强调通过端到端训练将核心能力内化进模型参数，使LLM成为主动决策者，其核心驱动力是大规模强化学习在LLM训练中的应用 [3] 面向LLM的RL - 必须使用结果驱动的RL将规划等能力从提示诱导转为参数内化，以解决程序化数据稀缺和分布外脆弱性问题 [6] - 相比监督微调，RL具备动态探索式采样与相对价值学习两大优势，将模型从“被动模仿者”变为“主动探索者” [7][8] - 预训练LLM自带的世界知识与结构先验可实现先验引导的探索，提高样本效率，而语言接口将状态、动作、奖励统一到文本空间，使RL成为跨任务泛化的通用机制 [9][11] - 算法从早期RLHF演进至GRPO、DAPO等结果驱动RL，以提升长程训练稳定性与效率，形成基础模型提供先验、学习算法通过交互精炼能力的统一范式 [12] 核心能力：规划 - 流水线范式将规划视为自动化推理与行动序列搜索，存在传统符号规划可解释但重建模、提示工程对设计敏感且计算成本高等局限 [14][17] - 模型原生范式通过监督学习与强化学习将规划能力直接内化到参数中，摆脱外部搜索器/评估器，提升开放环境下的灵活性与稳健性 [15] - 实现了两次关键迁移：训练方式从SFT转向RL以缓解高质量过程数据稀缺问题；RL内部从“过程奖励”转向“结果奖励”并结合规则型奖励以稳定优化 [18] 核心能力：工具使用 - 早期系统将模型嵌入固定工作流节点，提示法则将决策逻辑写入提示，但存在计算开销大、依赖评估质量等问题 [21] - 模型原生迁移把工具使用的决策内化到参数中，形成模块化训练（只优化规划器）和端到端训练（统一学习计划与执行）两类路线 [21] - 当前挑战包括长动作序列中的信用分配问题，以及工具超时、返回不一致等环境噪声导致的训练不稳定，趋势是细化奖励（轨迹级转向步级）并在动态真实环境中训练以缩小仿真到现实差距 [22] 核心能力：记忆 - 记忆被视为“面向行动的证据治理”，流程包括写入/存储、管理/压缩、检索、利用四职能 [27] - 短期记忆方面，流水线范式通过滑动窗口、压缩摘要和RAG等技术处理，模型原生范式则通过位置编码外推、长序列合成和注意力优化将长上下文能力端到端化 [27][30] - 长期记忆载体分为外部库（混合索引、重排、去重）和模型参数（持续预训练/蒸馏、定点编辑与轻量注入），趋势是推动短期-长期记忆统一及检索与生成的联合训练 [30] 智能体应用发展路线 - Deep Research智能体充当“大脑”，擅长复杂推理和分析；GUI智能体充当“眼睛和手”，模拟人类与图形环境的交互 [3] - 多智能体协作研究涵盖从基于规则的系统到数据驱动的模型原生方法，代表性算法包括MAGRPO、RLCCF、MATPO等 [40] 未来方向 - 当前研究焦点集中于奖励建模、规划、工具使用、自动化验证/红队测试等领域 [41] - 最终发展轨迹是模型与环境更深入的综合，标志着从构建使用智能的系统到增长智能的系统的转变 [44]