Ilya辟谣Scaling Law终结论
AI前线·2025-11-30 13:33

AI发展范式转变 - 单纯依靠算力规模扩张的"大力出奇迹"时代可能已经结束,即使资源增加100倍也未必能带来AI能力的质变[2] - AI发展正从"规模扩张时代"重新回到"研究驱动的时代",但这次研究建立在前期积累的超大算力基础之上[16][42][45] - 当前AI进展的瓶颈已从"算力"转向"想法本身",行业内公司数量远多于真正新颖的思路[16][60] 当前AI模型的局限性 - 现有大模型出现明显断层:在基准测试中成绩惊人,但在简单真实任务中经常翻车,智能表现脆弱[16][17] - 模型泛化能力远逊于人类,既体现在需要海量数据、样本效率极低,也体现在教授复杂任务非常困难[16][47] - 强化学习可能让模型变得过于单一目标驱动,过度聚焦评测分数反而削弱了向真实应用场景泛化的能力[16][19] 未来AI发展方向 - 实现通用人工智能可能还需要更多突破,持续学习和样本效率是常被提及的两个方向[5] - 价值函数被认为是重要发展方向,能让AI更高效地学习,预计未来会广泛应用[37][46] - 人类学习机制为AI发展提供重要启示,人类拥有强大的内部价值函数和鲁棒的学习机制[55][56] AI经济影响与部署策略 - 即使没有进一步研究突破,当前技术范式也足以产生巨大的经济和社会影响[5] - 最强大的AI部署关键在于能够把在整个经济体系中各个实例的学习结果合并起来,这种集体知识汇聚可能触发智能爆炸[16][81] - AI部署应该采用渐进式方式,让社会逐步接触和适应,而不是一次性推出完全成熟的超级智能[72][73][85] 行业竞争格局 - 行业内专家共识远多于分歧,普遍认为通用人工智能大概率会在20年内实现,而非需要100多年[5][111] - 当前AI行业公司数量多于真正新颖的思路,竞争格局呈现同质化趋势[60][113] - 随着AI能力提升,不同公司可能会在技术路径和对齐策略上逐渐收敛[115][116] 研究资源分配 - 用于研究的算力需求相对可控,AlexNet仅用2块GPU,Transformer初期实验使用8-64块GPU[61] - 大公司算力被分割到不同模态和产品线,真正用于纯研究的算力差距并不像表面数字那么大[63][66] - 研究时代需要的是思维多样性而非简单算力堆砌,思维多样性比同质化复制更重要[124]