文章核心观点 文章围绕强化学习（RL）展开，介绍其与传统机器学习的区别、与大语言模型（LLM）的结合应用、行业发展现状与方向，还提及人才稀缺原因及人生与RL的关联等内容 强化学习概念 - RL是机器学习下用于解决多步决策问题的算法框架，与传统机器学习不同，无标准答案，有反馈机制评判结果，逻辑接近真实生活解决问题方式 [2][7] - 传统机器学习本质是记住大量标注过正确答案的数据对，用于解决单一步骤、有明确标准答案的分类问题，如人脸识别等 [3][4] RL与LLM结合 - 最初RL和LLM无关联，LLM本质是预测下一个词，存在不遵从指令缺陷，OpenAI在InstructGPT中将二者结合解决该问题 [8][9][11] - 为定义模型输出与指令需求的一致性，用人为定义数据训练出奖励模型，衍生出RLHF概念，其主要价值是让LLM好用，与RL不同，RL可让LLM更聪明 [11][12][13] - OpenAI发现让LLM“多吐点字”实现“慢思考”可使其更聪明，该过程叫推理时间缩放，训练时用有标准答案问题训练推理能力，还需用文科训练平衡模型 [13][16][19] 行业发展现状与方向 - 国内部分团队如豆包和DeepSeek在探索新可能，海外团队有不同理念，OpenAI的RL已进化到Agent范式，实现多轮交互和与虚拟世界互动 [21][22] - RL和LLM缺一不可，二者结合实现智能，目前最好的Agent模型按此整合，但范式和算法有发展空间 [25][29] - 预训练的规模定律收益变小，发展方向包括合成高质量图文混合数据和蒸馏小规模但能力同等的模型 [29][30] - RL的规模定律处于初始阶段，决策能力会提升，不同大模型公司在RL+LLM路径上会分化，主要分支有编程、Agent、通用泛化能力 [31][32][33] 用户感知与训练过程 - 用户可通过准确率和多轮交互体验判断强化学习效果，准确率可通过基准测试或体感验证，多轮交互体验好的模型如Claude [34] - 强化学习训练中基建最重要，决定迭代效率，其次是数据，最后是算法，训练效果受多种因素耦合影响，存在不确定性 [34][35] 组织架构与人才问题 - 大模型团队组织架构中预训练和后训练团队最好不分开，成员需有破圈意识，可按目标分工，如多模态、RLHF分支等 [36] - RL人才稀缺因门槛高、工业界应用少、对工程要求高，吴翼回国做开源工作，联合蚂蚁研究院发布开源框架AReaL - boba [39][40][42] - 公司招或培养RL人才，建议注重“动手能力”和“不给自己设限” [45] 人生与RL关联 - 人生类似强化学习过程，需探索自己的奖励函数，很多人可能找错奖励函数，应追求“熵值最大化”生活方式，勇敢试错 [8][47][48] - 传统RL难中途改变奖励函数，但在多智能体强化学习和人机交互中，AI需主动探索正确奖励函数，人生也需主动探索找到自己的奖励函数 [48][49][50]