Workflow
o系列推理模型
icon
搜索文档
Hinton加入Scaling Law论战,他不站学生Ilya
量子位· 2026-01-01 10:13
文章核心观点 - 针对Scaling Law(规模定律)的未来,AI领域的顶尖专家们存在观点分歧,但共识在于其发展路径需要演进,而非简单的规模线性扩展 [8][21][49] - 以Geoffrey Hinton和Demis Hassabis为代表的一方认为Scaling Law依然有效,当前面临的数据瓶颈可通过AI自我生成数据等方式解决 [10][15][22] - 以Ilya Sutskever和Yann LeCun为代表的一方认为,单纯依赖扩大模型参数、数据和算力的传统Scaling Law路径已遇到瓶颈,不足以实现根本性突破,未来需要转向新的研究范式 [23][25][41] Scaling Law不死派:Hinton与哈萨比斯的观点 - Geoffrey Hinton明确表示Scaling Laws依然有效,但当前面临数据缺失的最大挑战,因为大部分高价值数据锁在公司内部,免费互联网数据已基本耗尽 [10][11] - Hinton认为数据瓶颈将由AI自行解决,即模型通过推理生成自己的训练数据,他类比了AlphaGo和AlphaZero通过自我对弈生成数据的方式 [12][13][14] - 谷歌DeepMind CEO Demis Hassabis同样支持将当前系统规模化推向极致,认为这将是最终AGI系统的关键组成部分,甚至可能成为整个AGI系统本身 [16][17] - Hassabis倡导一种更系统、广义的规模化,即模型规模、训练范式、环境复杂度及系统架构需作为协同演进整体同步扩展,他强调构建“世界模型”和整合“搜索”与“规划”能力,让模型进入可交互环境以无限扩展数据 [19][20] Scaling Law不够用派:Ilya与LeCun的观点 - OpenAI前首席科学家Ilya Sutskever对继续扩展规模持怀疑态度,质疑当规模已经很大时,再扩大100倍是否就能彻底改变一切,认为仅靠更大规模无法带来根本性转折 [23][24][40] - Ilya指出过去十年深度学习的突破基于一个特定的尺度假设公式,但这个公式会改变,他认为目前主流的“预训练+Scaling”路线已明显遇到瓶颈,需要将注意力放回“研究范式本身”的重构,即“重新回到科研时代” [38][39][41] - Ilya通过一个脑损伤患者丧失情感处理能力导致决策困难的例子,暗示当前预训练模型可能缺失类似情感的关键能力,这使得Scaling Law是否“够用”存疑 [44][45] - Meta首席AI科学家Yann LeCun同样怀疑Scaling Law,认为不能简单假设更多的数据和计算能力就意味着更智能的人工智能,他一直认为大语言模型无法实现AGI [46][47][48] 行业共识与未来方向 - 尽管存在表面分歧,但顶尖研究人员观点有惊人共识:当前范式即便没有进一步突破也可能带来巨大经济社会影响;实现AGI/ASI可能需要更多研究突破(如持续学习、样本效率);分歧主要在于突破的具体内容及到来速度 [51][53] - 争论的本质可能不在于是否要Scaling,而在于“我们到底在Scaling什么”,即规模化对象需要从简单的参数、数据、算力扩展到更复杂的系统能力 [52] - OpenAI的o1模型核心成员Noam Brown提出,o1代表一种以推理计算为代表的全新Scaling,暗示Scaling Law的形式正在演变 [37]
Ilya之后,两位90后撑起OpenAI核心研究
量子位· 2025-08-01 12:23
OpenAI核心研究团队 - 在Ilya Sutskever离职后,Mark Chen和Jakub Pachocki成为OpenAI研究领域的核心支柱,分别担任首席研究官和首席科学家 [1][5][29] - 两人均为90后(Chen 90年出生,Pachocki 91年出生),拥有国际奥赛背景,且均为公司资深员工(Chen工作6年,Pachocki工作8年)[9][20][22] - 分工明确:Chen负责研究团队建设与管理,Pachocki主导研究路线图制定与技术愿景规划,但协作灵活,可交叉介入具体技术细节 [5][30] 关键人物背景 Mark Chen - 学术成就:h指数27,论文总被引108,391次,参与撰写GPT-3(被引51,872次)、GPT-4技术报告(被引16,368次)等里程碑论文 [13] - 技术贡献:主导开发DALL-E、Codex编码模型,构建GPT-3并行策略,为GPT-4添加图像识别功能 [12] - 职业经历:MIT计算机本科,曾任职Jane Street Capital量化研究员,开发期货交易机器学习模型 [19] - 拒绝Meta创始人扎克伯格10亿美元薪酬邀约,坚持留在OpenAI [15][17] Jakub Pachocki - 学术背景:CMU三年速获博士学位,哈佛大学博士后,本科毕业于华沙大学 [23] - 竞赛成就:2009年IOI银牌,2012年Google Code Jam冠军、ICPC世界总决赛团队金牌 [26][28] - 技术领导:接替Ilya担任首席科学家,监督GPT-4和o1项目,曾负责Dota AI应用项目 [20][22] 研究战略与成果 - 通过国际竞赛推动AI进步:OpenAI在AtCoder编程竞赛获全球第二,IMO数学竞赛夺金,旨在通过挑战顶级人类表现提升模型能力 [32][34] - 研究范式:认为数学与编码是通用AI的关键,强调模型需学习人类创新解法(如竞赛选手Psyho的新颖方案)来突破技术瓶颈 [35][36] - AGI发展路径:主张渐进式发展,将AGI视为工具而非革命性存在,认为对齐研究应融入核心业务而非独立进行 [38][41] 组织动态与行业影响 - 超级对齐团队解散原因:认为当前应聚焦现有模型对齐,而非假设性超级智能控制 [41] - 公司转型:从纯研究转向研究+产品双轨模式,技术突破衍生产品(如GPT系列)成为AGI探索的副产品 [37][42] - 行业竞争:扎克伯格受Chen启发启动Meta人才争夺战,反映AI顶尖人才稀缺性 [14][8]