机器之心编辑部 又到一年毕业季。这个 6 月，相信很多同学都已经收到了心仪的实习 offer，或者在准备秋招投递。 对于 AI 相关专业毕业生来说，就业市场选择很多，各个大厂、小厂、初创都在积极招揽 AI 人才。 但目前行业变化很快，今天还是 SOTA 的模型明天可能就被挤到第二名，下个月可能就有同等实力的开源模型出来，把大家拉到同一起跑线。产品也是如此，只 要一个产品 demo 足够出圈，接下来两个月同类产品就会相继涌现，连创始人出镜讲述的风格都高度相似。这导致就业市场也变化很快，今天还是重点投入，明天 可能就有变动。 同学们在择业时，会不会也有疑虑？或许我们可以从行业走势、公司基因、过往人才培养案例等方面跟同学们一起探讨一下。 AI 下半场，拼的是什么？ 机器之心报道 很多关注 AI 领域发展趋势的同学可能都看过 OpenAI 研究员姚顺雨写的一篇博客 ——《The Second Half》。这篇文章当时被大量转发，其中的洞见也得到了很多 从业者的赞同。 文章主要是说，AI 领域的竞争重心正在发生转移 —— 上半场比拼模型参数与训练技巧（如刷榜 ImageNet），而下半场需聚焦「如何定义有价值的问题」和 ...

机器之心报道 编辑：张倩 前段时间，OpenAI 研究员姚顺雨发表了一篇主题为「AI 下半场」的博客。其中提到，「接下来，AI 的重点将从解决问题转向定义问题。在这个新时代，评估的 重要性将超过训练。我们需要重新思考如何训练 AI 以及如何衡量进展，这可能需要更接近产品经理的思维方式。」（参见《 清华学霸、OpenAI 姚顺雨：AI 下半 由于观点非常有见地，这篇博客吸引了大量从业者围观。 有意思的是，亚马逊首席应用科学家 Eugene Yan 最近也发表了一篇博客，专门介绍 AI 产品的评估，可以说是对姚顺雨博客的有力补充。 场开战，评估将比训练重要 》） 这篇博客同样得到了诸多好评。 以下是博客原文。 自动化评估救不了你的产品 你得修复你的流程 产品评估这件事，很多人根本没搞懂。总有人以为再加个工具、添个指标，或者让大语言模型当裁判（LLM-as-judge），就能解决问题拯救产品。这根本是在回避 核心问题，逃避真正该做的工作。评估并非一劳永逸，也不是什么快速起效的方法 —— 它是运用科学方法的持续实践，是评估驱动开发，是 AI 输出的持续监 测。 构建产品评估体系，本质上就是在践行科学方法。这才是真正的 ...

AI发展阶段划分 - 当前处于AI发展的中场阶段 上半场以模型创新和基准测试为核心 下半场将从"解决问题"转向"定义问题"[2][3] - 上半场的标志性成果包括DeepBlue AlphaGo GPT-4等 这些突破基于搜索 深度强化学习 模型规模化和推理等根本性创新[2] - 下半场的关键转变在于评估比训练更重要 需要重新思考如何定义问题和衡量进展 思维方式需向产品经理靠拢[3] AI上半场特征 - 上半场的赢家主要是训练方法和模型创新 如Transformer AlexNet GPT-3等 而非基准测试本身[4] - 方法比任务更具通用性 例如Transformer架构推动了计算机视觉 自然语言处理 强化学习等多个领域发展[7] - 上半场游戏规则是开发新方法提升基准测试 再创建更难的基准测试继续循环 这种方法持续几十年并催生重大突破[8] 强化学习突破 - 强化学习取得重大进展的关键在于获得泛化能力 通过语言预训练与强化学习融合形成通用解决方案[3][9] - 强化学习三要素中 先验知识的重要性超过算法和环境 语言预训练提供了关键的先验知识[14][15] - 将推理作为特殊"行动"加入强化学习环境 使模型能利用语言预训练的先验进行泛化[20] AI下半场趋势 - 下半场需要从根本上重新思考评估框架 创造新的评估方式以突破现有解决方案的限制[23][26] - 当前评估框架与现实世界存在差异 例如评估应自动进行和i.i.d.假设等问题需要被质疑和突破[27][29] - 下半场的重点是将智能转化为有用产品 可能创造价值数十亿或数万亿美元的公司[29][32] 技术突破路径 - 有效解决方案的关键成分包括：大规模语言预训练 规模化（数据和算力） 以及推理与行动的概念[9] - OpenAI早期尝试将数字世界变为强化学习环境 但未能解决跨领域迁移问题 直到GPT系列引入语言预训练先验[14][15] - 强化学习算法重要性下降 正确的先验知识和合适的环境配置成为关键突破点[21]

AI发展阶段的划分 - AI发展进入下半场，核心从训练方法创新转向问题定义和评估体系重构 [1][5] - 上半场的标志性成果包括DeepBlue、AlphaGo、GPT-4等，均依赖训练方法突破 [2][6] - 下半场的关键转变在于强化学习(RL)泛化能力突破，实现跨领域任务统一解决 [3][13] 上半场的特征与局限 - 最具影响力的AI论文集中于训练方法创新，如Transformer(16万次引用)远超其基准WMT'14(1300次) [8][10] - 训练方法创新具有跨领域通用性，例如Transformer同时推动CV、NLP、RL发展 [11] - 局限性在于过度简化评估环境，导致算法与现实需求脱节 [19][21] 有效配方(Recipe)的构成 - 核心要素包括：大规模语言预训练、算力数据扩展、推理与行动结合 [14] - 传统RL三要素中，先验知识(priors)重要性被低估，语言预训练成为泛化关键 [22][29] - OpenAI实践显示环境设计优先级需提升，Gym/Universe项目验证环境复杂性需求 [21] 下半场的范式转变 - 评估体系需重构，挑战自动运行、独立同分布(i.i.d.)等传统假设 [38][41] - 新游戏规则要求开发面向现实效用的评估设定，突破渐进式改进局限 [33][41] - 典型案例包括Chatbot Arena引入真人交互、tau-bench采用用户模拟 [38] 技术突破的具体表现 - ReAct框架实现语言推理与行动协同，成为Agent领域基础架构 [27][28] - GPT系列通过预训练注入先验知识，解决WebGPT/ChatGPT等现实任务 [21][22] - o系列模型展现跨任务泛化能力，特定任务优化边际效益递减 [33] 行业影响与未来方向 - 头部实验室资源向RL环境设计倾斜，算法创新优先级下降 [1][29] - 效用问题(Utility Problem)成为核心挑战，需建立与经济价值挂钩的评估标准 [36][37] - 产品化能力成为竞争焦点，成功案例可能催生万亿级企业 [41][42]