机器之心报道 编辑：张倩 前段时间，OpenAI 研究员姚顺雨发表了一篇主题为「AI 下半场」的博客。其中提到，「接下来，AI 的重点将从解决问题转向定义问题。在这个新时代，评估的 重要性将超过训练。我们需要重新思考如何训练 AI 以及如何衡量进展，这可能需要更接近产品经理的思维方式。」（参见《 清华学霸、OpenAI 姚顺雨：AI 下半 由于观点非常有见地，这篇博客吸引了大量从业者围观。 有意思的是，亚马逊首席应用科学家 Eugene Yan 最近也发表了一篇博客，专门介绍 AI 产品的评估，可以说是对姚顺雨博客的有力补充。 场开战，评估将比训练重要 》） 这篇博客同样得到了诸多好评。 以下是博客原文。 自动化评估救不了你的产品 你得修复你的流程 产品评估这件事，很多人根本没搞懂。总有人以为再加个工具、添个指标，或者让大语言模型当裁判（LLM-as-judge），就能解决问题拯救产品。这根本是在回避 核心问题，逃避真正该做的工作。评估并非一劳永逸，也不是什么快速起效的方法 —— 它是运用科学方法的持续实践，是评估驱动开发，是 AI 输出的持续监 测。 构建产品评估体系，本质上就是在践行科学方法。这才是真正的 ...