Workflow
Continual Learning
icon
搜索文档
房间里的大象:Ilya挑明AI的“高分低能”,呼吁要从研究到scale到再重回研究时代|Jinqiu Select
锦秋集· 2025-11-26 15:01
文章核心观点 - 当前AI模型在评估中表现优异但经济影响滞后,揭示了过度拟合评估而非真实世界需求的根本问题[14][17][18] - 行业需要从依赖确定性的“规模扩展”范式,转向以解决泛化能力为核心的新“研究时代”[6][14][57] - 真正的超级智能形态应是一个具备强大持续学习能力的系统,而非一个预训练的“成品”[96][97][98] 对AI范式的批判 - 模型存在行为波动性,上一秒能完成复杂任务,下一秒却连续犯低级错误[2][19][20] - 矛盾在于模型评估得分高但现实经济效果完全跟不上,评估表现与实际世界表现脱节[14][17][18] - 问题的核心可能在于强化学习训练使模型变得“过于专注和狭隘”,导致基础任务表现迟钝[21][22] - 真正的“奖励黑客”是过于关注评估指标的研究人员,而非模型本身[14][24] 从规模时代重返研究时代 - AI发展可分为两个阶段:2012-2020年为研究时代,2020-2025年为规模扩展时代,现在需重返研究时代[14][57] - 规模扩展配方(将计算力和数据塞进大型神经网络)提供了确定性收益,但改变了世界的是创新研究而非更大模型[6][14] - 公司偏好规模扩展因其资源投入风险低,而研究则充满不确定性[55][56] - 当前计算力已非常充足,行业再次回到“研究时代”,但此次拥有更大的计算资源[57][59] 人类实践中的经验启示 - 人类在15岁时所见数据量极少,但理解更深且不会犯AI那样的错误,表明人类学习样本效率极高[40][66] - 人类学习不依赖明确奖励体系,而是通过讨论、展示等互动方式自然习得[66] - 情感可能是一种被忽视的“价值函数”,能帮助人类快速判断行为好坏,对决策至关重要[43][45][51] - 进化赋予人类强大的先验能力(如视觉、运动),但人类在现代技能(语言、编程)上的快速学习能力表明其学习系统本身非常强大[69][70][72] 超级智能的形态与路径 - 超级智能不应是预训练完成的“全能大脑”,而应是一个可以学会做经济中每项工作的优秀学习算法[14][97][98] - 超智能系统更可能以“持续学习智能体”的形式被部署到经济中,通过实践学习积累技能[96][97][98] - 广泛部署可能引发快速经济增长,但具体速度受各国规则差异影响,存在不确定性[98][99][100] - 对超智能发展的时间预测在5到20年之间[113] 研究的方法与审美 - 研究需要“自上而下的信念”,即在实验与预期矛盾时支撑研究者的核心判断[14][123] - 优秀的研究品味源于对AI应有状态的美学判断,追求简洁、优雅且正确受大脑启发的理念[122][123] - 想法本身并不廉价,研究的瓶颈包括算力、工程能力以及将想法成功执行的困难[79][80]
Ilya两万字最新访谈:人类的情感并非累赘,而是 AI 缺失的“终极算法”
36氪· 2025-11-26 12:26
当前AI模型的局限性 - 模型在评估测试中得分极高,但在实际应用中常犯低级错误,例如修复代码Bug时会引入新Bug,显示出评估性能与现实世界性能的脱节 [18] - 这种脱节源于强化学习被过度优化用于“刷榜”,导致模型像只会做题的竞赛选手,缺乏真正的判断力和泛化能力 [4][19] - 模型更像一个练习了10,000小时的竞技编程选手,精通解题套路,但泛化能力远不如只练习100小时却拥有“灵性”的学生 [21][22] 人工智能发展的范式转移 - 2012年至2020年是人工智能的研究时代,而2020年至2025年则是扩展时代,其特征是遵循预训练的扩展配方进行大规模投入 [33] - 当前单纯扩大模型规模的边际效应递减,行业需要从“扩展时代”回归到“研究时代”,寻找新的数据配方和训练方法 [33][34] - 预训练数据的有限性意味着依赖现有扩展配方将面临瓶颈,未来进展将更依赖于研究突破而非单纯算力堆砌 [33] 人类智能的关键优势与AI的缺失 - 人类通过极少数据(如10小时学会开车)就能掌握复杂技能,其核心优势在于强大的内部“价值函数”,即直觉和情感 [5][6] - 价值函数使人类能在没有明确外部奖励时进行自我纠正,而当前AI缺乏这种内在、鲁棒的价值评估机制 [6][28] - 人类在语言、数学等新领域的学习能力表明,其高效学习并非完全依赖进化先验,而是拥有更根本的、优越的机器学习算法 [40][41] 超级智能的定义与实现路径 - 真正的超级智能被定义为一个拥有极高样本效率的“超级学习者”,能够像人类一样通过少量接触就掌握任何工作 [3][57] - 实现路径可能并非构建一个知晓一切的静态系统,而是部署能够进行“持续学习”并掌握经济中所有工作的智能体实例 [57][60] - 广泛部署此类持续学习智能体可能导致快速的经济增长,其影响将被强烈感受到,但具体时间线和形态难以预测 [17][62] 安全超级智能(SSI)的战略与行业影响 - 公司战略从倾向于“直通超级智能”的秘密研发,转变为倾向于逐步发布,以展示AI的强大力量,促使公众、政府和竞争对手真正重视安全问题 [7][52] - 逐步发布有助于形成“安全军备竞赛”的良性合作,前沿公司预计将在安全合作中扮演重要角色,例如OpenAI和Anthropic已迈出合作步伐 [52][65] - 公司的技术方法专注于解决可靠的泛化问题,目标是构建稳健对齐、能“关爱有感知生命”的AI,这被视为一种可能的技术趋同方向 [66][78] 未来研究的方向与挑战 - 未来研究的关键在于提升模型的泛化能力和样本效率,这比单纯扩展算力更为根本 [35][36] - 价值函数被认为能让强化学习更高效,是未来可能的重要研究方向,但其具体实现和与情感的关联仍是待解之谜 [29][31] - 研究时代需要回归对想法的探索,而非单纯执行现有配方,算力是工具但并非唯一瓶颈,想法的质量将重新成为关键 [45][49] 超级智能的长期影响与均衡 - 超级智能的广泛部署可能带来快速的经济增长,但也是一个不稳定的情况,其力量需要受到某种限制或协议约束 [62][68] - 长期均衡的一种可能解决方案是人与AI通过脑机接口等方式深度融合,使人能完全理解并参与AI的决策过程 [72] - 行业最终对齐战略可能趋同于构建“关爱有感知生命”的AI,随着AI能力增强,公司和政府的行为模式将发生巨大改变 [70][78]