文章核心观点 - 当前AI模型在评估中表现优异但经济影响滞后,揭示了过度拟合评估而非真实世界需求的根本问题[14][17][18] - 行业需要从依赖确定性的“规模扩展”范式,转向以解决泛化能力为核心的新“研究时代”[6][14][57] - 真正的超级智能形态应是一个具备强大持续学习能力的系统,而非一个预训练的“成品”[96][97][98] 对AI范式的批判 - 模型存在行为波动性,上一秒能完成复杂任务,下一秒却连续犯低级错误[2][19][20] - 矛盾在于模型评估得分高但现实经济效果完全跟不上,评估表现与实际世界表现脱节[14][17][18] - 问题的核心可能在于强化学习训练使模型变得“过于专注和狭隘”,导致基础任务表现迟钝[21][22] - 真正的“奖励黑客”是过于关注评估指标的研究人员,而非模型本身[14][24] 从规模时代重返研究时代 - AI发展可分为两个阶段:2012-2020年为研究时代,2020-2025年为规模扩展时代,现在需重返研究时代[14][57] - 规模扩展配方(将计算力和数据塞进大型神经网络)提供了确定性收益,但改变了世界的是创新研究而非更大模型[6][14] - 公司偏好规模扩展因其资源投入风险低,而研究则充满不确定性[55][56] - 当前计算力已非常充足,行业再次回到“研究时代”,但此次拥有更大的计算资源[57][59] 人类实践中的经验启示 - 人类在15岁时所见数据量极少,但理解更深且不会犯AI那样的错误,表明人类学习样本效率极高[40][66] - 人类学习不依赖明确奖励体系,而是通过讨论、展示等互动方式自然习得[66] - 情感可能是一种被忽视的“价值函数”,能帮助人类快速判断行为好坏,对决策至关重要[43][45][51] - 进化赋予人类强大的先验能力(如视觉、运动),但人类在现代技能(语言、编程)上的快速学习能力表明其学习系统本身非常强大[69][70][72] 超级智能的形态与路径 - 超级智能不应是预训练完成的“全能大脑”,而应是一个可以学会做经济中每项工作的优秀学习算法[14][97][98] - 超智能系统更可能以“持续学习智能体”的形式被部署到经济中,通过实践学习积累技能[96][97][98] - 广泛部署可能引发快速经济增长,但具体速度受各国规则差异影响,存在不确定性[98][99][100] - 对超智能发展的时间预测在5到20年之间[113] 研究的方法与审美 - 研究需要“自上而下的信念”,即在实验与预期矛盾时支撑研究者的核心判断[14][123] - 优秀的研究品味源于对AI应有状态的美学判断,追求简洁、优雅且正确受大脑启发的理念[122][123] - 想法本身并不廉价,研究的瓶颈包括算力、工程能力以及将想法成功执行的困难[79][80]
房间里的大象:Ilya挑明AI的“高分低能”,呼吁要从研究到scale到再重回研究时代|Jinqiu Select
锦秋集·2025-11-26 15:01