文章核心观点 - 针对Scaling Law(规模定律)的未来,AI领域的顶尖专家们存在观点分歧,但共识在于其发展路径需要演进,而非简单的规模线性扩展 [8][21][49] - 以Geoffrey Hinton和Demis Hassabis为代表的一方认为Scaling Law依然有效,当前面临的数据瓶颈可通过AI自我生成数据等方式解决 [10][15][22] - 以Ilya Sutskever和Yann LeCun为代表的一方认为,单纯依赖扩大模型参数、数据和算力的传统Scaling Law路径已遇到瓶颈,不足以实现根本性突破,未来需要转向新的研究范式 [23][25][41] Scaling Law不死派:Hinton与哈萨比斯的观点 - Geoffrey Hinton明确表示Scaling Laws依然有效,但当前面临数据缺失的最大挑战,因为大部分高价值数据锁在公司内部,免费互联网数据已基本耗尽 [10][11] - Hinton认为数据瓶颈将由AI自行解决,即模型通过推理生成自己的训练数据,他类比了AlphaGo和AlphaZero通过自我对弈生成数据的方式 [12][13][14] - 谷歌DeepMind CEO Demis Hassabis同样支持将当前系统规模化推向极致,认为这将是最终AGI系统的关键组成部分,甚至可能成为整个AGI系统本身 [16][17] - Hassabis倡导一种更系统、广义的规模化,即模型规模、训练范式、环境复杂度及系统架构需作为协同演进整体同步扩展,他强调构建“世界模型”和整合“搜索”与“规划”能力,让模型进入可交互环境以无限扩展数据 [19][20] Scaling Law不够用派:Ilya与LeCun的观点 - OpenAI前首席科学家Ilya Sutskever对继续扩展规模持怀疑态度,质疑当规模已经很大时,再扩大100倍是否就能彻底改变一切,认为仅靠更大规模无法带来根本性转折 [23][24][40] - Ilya指出过去十年深度学习的突破基于一个特定的尺度假设公式,但这个公式会改变,他认为目前主流的“预训练+Scaling”路线已明显遇到瓶颈,需要将注意力放回“研究范式本身”的重构,即“重新回到科研时代” [38][39][41] - Ilya通过一个脑损伤患者丧失情感处理能力导致决策困难的例子,暗示当前预训练模型可能缺失类似情感的关键能力,这使得Scaling Law是否“够用”存疑 [44][45] - Meta首席AI科学家Yann LeCun同样怀疑Scaling Law,认为不能简单假设更多的数据和计算能力就意味着更智能的人工智能,他一直认为大语言模型无法实现AGI [46][47][48] 行业共识与未来方向 - 尽管存在表面分歧,但顶尖研究人员观点有惊人共识:当前范式即便没有进一步突破也可能带来巨大经济社会影响;实现AGI/ASI可能需要更多研究突破(如持续学习、样本效率);分歧主要在于突破的具体内容及到来速度 [51][53] - 争论的本质可能不在于是否要Scaling,而在于“我们到底在Scaling什么”,即规模化对象需要从简单的参数、数据、算力扩展到更复杂的系统能力 [52] - OpenAI的o1模型核心成员Noam Brown提出,o1代表一种以推理计算为代表的全新Scaling,暗示Scaling Law的形式正在演变 [37]
Hinton加入Scaling Law论战,他不站学生Ilya
量子位·2026-01-01 10:13