技术进展 - Korro Bio采用机器学习优化化学修饰的寡核苷酸设计，模型在20%的体外数据上测试，预测精度在体外编辑的7%以内[29] - 通过引入新化学修饰，Korro Bio的模型在8种未见修饰的寡核苷酸中提高了整体错误率[56] - Korro Bio的模型在序列单体特征上表现出r = 0.78的相关性，而在原子特征上为r = 0.66[48] - 通过迭代设计批次，机器学习显著提升了mRNA编辑的效果[33] - Korro Bio的模型在化学修饰模式对体外编辑的影响上，相关性达到r = 0.80[28] - 在新目标和细胞系的模型中，寡核苷酸-靶标相互作用特征显著提升了模型的预测能力[71] - Korro Bio的模型在新修饰的滴定实验中，编辑相关性为r = 0.72[64] - 通过对化学修饰的深入理解，Korro Bio能够提高ADAR引导寡核苷酸的药理学[10] - 机器学习的应用使得Korro Bio能够在化学修饰的引入上进行大规模测试[52] - Korro Bio的模型在序列、化学修饰与体外编辑之间的关系理解上取得了显著进展[29]

核心观点 - AI行业对学术影响力的衡量标准正在发生变化，顶级会议论文不再是唯一评价指标，OpenAI等机构更注重实际能力而非传统学术成果[1][2][3] - Hyperbolic CEO和OpenAI成员Keller Jordan的案例表明，通过高质量博客展示研究成果也能获得顶级机构认可[3][8] - Muon优化器通过创新设计显著提升神经网络训练效率，在多项基准测试中打破速度记录[6][12][22] Muon优化器技术突破 性能表现 - 在CIFAR-10数据集上，训练速度从3.3秒提升至2.6秒（准确率保持94%）[22] - FineWeb任务训练速度提升1.35倍，验证损失降至3.28[22] - 1.5B参数Transformer训练时间从13.3小时缩短至10小时（H100集群）[22] - 在774M和1.5B参数规模下持续展现加速效果[22] 核心技术 - 采用牛顿-舒尔茨迭代正交化更新矩阵，5次迭代即可收敛[36][49] - 优化后系数(3.4445,4.7750,2.0315)实现x=0处的快速收敛[47] - FLOP开销低于1%，适用于大规模训练（如Llama 405B仅增加0.5%开销）[56][59] - 与Shampoo优化器相比，避免四次方根求逆的高计算成本[63] 应用设计 - 需配合AdamW优化输入/输出层参数[66] - 对Transformer的QKV参数分别处理效果更佳[69] - 默认采用Nesterov动量加速收敛[68] - 支持bfloat16精度运行，避免float32的数值稳定性问题[36] 行业影响 - OpenAI等机构的人才选拔转向能力导向，打破传统论文发表壁垒[8] - 月之暗面团队通过引入AdamW权重衰减机制进一步优化Muon性能[78] - Essential AI的论文证实Muon能扩展帕累托边界，提升大规模训练经济性[81] - 行业需要建立更严格的优化器评估标准，避免基线调优不足的研究缺陷[72][74]

Google 首席科学家Jeff Dean 今年4月于在苏黎世联邦理工学院发表关于人工智能重要趋势的演讲，本次演讲回顾 了奠定现代AI基础的一系列关键技术里程碑，包括神经网络与反向传播、早期大规模训练、硬件加速、开源生 态、架构革命、训练范式、模型效率、推理优化等。算力、数据量、模型规模扩展以及算法和模型架构创新对AI 能力提升的关键作用。 以下是本次演讲 实录 经数字开物团队编译整理 01 AI 正以前所未有的规模和算法进步改变计算范式 Jeff Dean: 今天我将和大家探讨 AI 的重要趋势。我们会回顾：这个领域是如何发展到今天这个模型能力水平的？在当前的技 术水平下，我们能做些什么？以及，我们该如何塑造 AI 的未来发展方向？ 这项工作是与 Google 内外的众多同仁共同完成的，所以并非全是我个人的成果，其中许多是合作研究。有些工作 甚至并非由我主导，但我认为它们都非常重要，值得在此与大家分享和探讨。 我们先来看一些观察发现，其中大部分对在座各位而言可能显而易见。首先，我认为最重要的一点是，机器学习 彻底改变了我们对计算机能力的认知和期待。回想十年前，当时的计算机视觉技术尚处初级阶段，计算机几乎谈 ...