文章核心观点 - 过去十年AI的进步由计算预算增长和算法创新共同推动，但算法进步的量化及其来源尚不清晰 [2] - 一项2024年的研究发现，算法进步在过去十年贡献了超过4个数量级的有效计算量提升，而计算规模本身增长了7个数量级 [2] - 研究通过三种互补方法得出结论：大多数算法创新带来的效率提升有限且与规模无关，而少数强烈依赖规模的创新（如LSTM到Transformer，Kaplan到Chinchilla）贡献了绝大部分的效率提升，且算法进步的速度和幅度高度依赖于所选的参考基线 [3][4][6] 算法进步的量化与总体影响 - 所有算法创新加起来使模型效率提高了约22,000倍，理论上可用少得多的浮点运算次数达到相同性能 [3] - 在总计21,400倍（相对于LSTM模型）的性能提升中，从LSTM转向Kaplan Transformer模型贡献了846倍的提升，Chinchilla训练策略贡献了近10倍的提升，这两项创新共同构成了总相对效率提升的91% [4][22] - 与规模无关的算法进步总体计算效率提升不到10倍，在推算到2025年计算能力极限（2 × 10²³ FLOPs）时，这些提升仅占总改进的不到10% [4] 算法进步的特性与模式 - 大多数经过实验评估的算法创新只带来小幅的、与规模无关的效率提升，提升倍数极不均匀，主要集中在少数几项改进上（如Adam优化器、pre-RMSNorm带来约2倍提升）[4][11] - 算法进步呈现断裂或不连续的模式：多年小幅改进之后，会出现一次较大的算法跃迁 [12] - 原始论文所声称的效率提升，往往远高于后续文献给出的估计以及该研究本身的实验结果 [9] 规模依赖型算法创新 - 研究发现有两项强烈依赖规模的算法创新：从LSTM到Transformer，以及从Kaplan到Chinchilla训练策略 [4] - 神经网络架构的改进具有随规模增加而回报提升的特性，并非规模不变 [20] - 从小模型LSTM切换到现代Transformer的总效率提升为6.28倍，切换到Retro Transformer的效率提升为4.69倍，这远低于此前文献估计的约60倍提升 [11] 算法进步与计算规模的关系 - 算法进步可能本质上就是依赖规模的，要真正体现其效益需要不断增长的计算规模 [6] - 算法进步对大模型开发者的益处远大于对小规模参与者的益处 [6] - 前沿模型的计算预算正以每年4.2倍的速度呈指数增长，算法进步的速率可能更多受算力扩张推动，而非不断涌现的算法创新 [22] 算法进步速度的参照系依赖 - 算法进步的速度强烈依赖于所选择的参考算法 [4] - 以LSTM为参照，Transformer系列（尤其是更大模型）会显得算法进步是指数增长的（论文测到一年增长率大约63%）；但以Transformer自身为参照，随着规模变大，算法进步幅度很小（只比以前好约2倍）[24][25] - 换个对照组，算法进步的速度评估结果会从指数增长变为增长幅度很少 [26]

Waymo的AI战略与知识蒸馏 - Waymo近期发布深度博客，详细阐述了其以Waymo基础模型为核心的AI战略[1] - 谷歌首席科学家Jeff Dean在社交媒体上重点介绍了Waymo使用的知识蒸馏方法，该方法借鉴了创建Gemini Flash模型的经验，旨在基于更大模型创建可机载运行的高计算效率模型[1] - 知识蒸馏技术由Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2014年提出，其论文虽被NeurIPS 2014以“不太可能产生重大影响”为由拒稿，但如今已成为模型压缩和大模型落地的标配方法，论文引用量超过28,000次[3][4][29] 被顶级会议拒稿但影响深远的AI技术 - **LSTM**：由Sepp Hochreiter和Jürgen Schmidhuber提出，在1996年被NIPS拒稿，拒稿理由包括参数过多、过于复杂且缺乏生物学合理性，如今引用量达139,707次，并在2010年代后于语音识别和机器翻译中展现出统治级表现[8][13] - **SIFT算法**：由David Lowe提出，在1997年和1998年先后被ICCV和CVPR拒稿，理由是被认为“过于繁琐”、“不够优雅”，最终以Poster形式发表，曾统治计算机视觉领域长达15年，如今引用量达27,389次[11][14] - **Dropout**：由Geoffrey Hinton团队提出，在2012年投稿NIPS时被拒，评审认为其核心思想过于激进且缺乏数理逻辑，但该技术迅速成为AlexNet夺冠ImageNet的关键，如今引用量达60,231次[17] - **Word2Vec**：由Tomas Mikolov等人提出，在首届ICLR会议上收到“Strong Reject”评价，评审认为其“比较不科学”、“定义模糊”，但通过开源代码迅速成为NLP领域基石，并于2023年获NeurIPS“时间检验奖”，如今引用量达50,855次[19][20] - **YOLO**：由Joseph Redmon等人提出，在2015年被ICCV拒稿，评审因其定位精度不如R-CNN系列而拒绝，但忽视了其实现45 FPS实时检测的速度优势，如今YOLO系列已迭代至v13，成为工业界最受欢迎的检测框架，引用量达69,782次[27][28][30] - **RoBERTa**：由Meta AI研究人员提出，在投稿ICLR 2020时被拒，评审认为其新颖性和技术贡献有限，只是“仔细调参”和“使用更多数据”，但该模型超越了原始BERT，成为后续NLP研究的标准基线，如今引用量达23,479次[32] - **Mamba**：由Albert Gu和Tri Dao提出，在ICLR 2024评审中折戟，评审理由包括与其前作S4相比增量不足、未全面超越Transformer等，但该架构在社区引发热烈讨论，基于其的变体大量涌现，成为2024年最具影响力的架构创新之一，如今引用量达6,799次[35][36][37] 科研评价体系的局限与反思 - 顶会评审系统在面对颠覆性创新时存在系统性认知滞后，表现为“简单性陷阱”，即倾向于将数学复杂性等同于研究贡献，从而质疑如Dropout或Word2Vec等简单有效的方法[40] - 评审作为旧范式的维护者，存在“范式惯性”，当YOLO或Deep Image Prior等新思想出现时，旧范式的标准会成为阻碍新思想的壁垒[40] - 在深度学习领域，过度要求理论证明的“严谨性的暴政”可能会扼杀具有巨大实用价值的工程突破，例如Adam优化器初期面临的收敛性质疑[40] - 同行评审虽然是科学共同体的基石，但难以摆脱人类认知的局限性，它善于识别错误，却往往拙于鉴别天才，真正决定研究生命力的是其是否解决问题以及在时间长河中的回响[41][45]

残差学习技术发展脉络 - 残差学习思想最早可追溯至1991年，Sepp Hochreiter在其博士论文中首次系统性分析RNN梯度消失问题并提出循环残差连接解决方案[12][13] - 循环残差连接核心机制是使用权重严格为1.0的恒等激活单元，使误差信号在反向传播中保持恒定，避免梯度消失或爆炸[13][14] 权重接近1.0（如0.99）会导致误差信号在100个时间步后衰减至37%，而0.9权重会使信号衰减至0.0027%[15] - 1997年LSTM论文提出恒定误差轮盘（CECs）机制，通过权重为1.0的循环残差连接使误差在数百至数千时间步内不衰减，该论文成为20世纪引用最多的人工智能论文[18][19] 残差网络架构演进 - Highway网络于2015年5月首次实现上百层深度前馈网络训练，较传统20-30层网络深度提升10倍以上，其核心将LSTM门控残差思想引入前馈网络[23] - ResNet于2015年12月在ImageNet竞赛成功应用残差连接，其设计与展开的LSTM及初始化Highway网络高度相似，若将Highway网络门恒定设置为1.0即可得到纯残差网络ResNet[24] - LSTM与Highway网络分别奠定循环和前馈网络的深度训练基础，ResNet实质是1997年LSTM前馈变体的延续应用[26] 学术贡献归属争议 - Jürgen Schmidhuber认为残差学习成果完全归因于何恺明团队有失偏颇，强调其学生Sepp Hochreiter在1991年已提出核心思想[3][10] - 深度学习三巨头（Bengio、Hinton、LeCun）在Nature综述论文中大量引用自身成果却未提及Jürgen等人，引发长期学术争论[7][8] - Jürgen声称LSTM、ResNet、AlexNet、VGG Net、GAN及Transformer均受其实验室成果启发，但除LSTM外其他成果未获普遍认可[28][31]