表征对齐度
搜索文档
穷人福音,MIT研究:不用堆显卡,抄顶级模型作业就成
36氪· 2026-01-09 21:20
文章核心观点 - 麻省理工学院的研究表明,尽管用于科学发现的AI模型在架构、训练数据和模态上存在巨大差异,但随着模型性能的提升,它们对物质世界的内在理解会趋于一致,即向同一个“真理”收敛 [1][2][3] - 这种“表征对齐”现象不仅存在于科学AI领域,也出现在跨模态(如语言与视觉)的模型中,意味着强大的AI正在构建一个共享的、对现实的“内在图景” [9][14] - 研究揭示了高性能模型认知的趋同性,为AI开发提供了新方向:无需盲目堆砌算力和参数量,可通过“模型蒸馏”等技术,将大模型的知识迁移到更轻量的小模型上,从而实现高效且低成本的创新 [18][20][24] AI模型认知的收敛性 - 研究汇集了59个不同“出身”的模型,发现当模型变得足够强大时,它们对物质的理解(隐藏层表达)会变得极度相似,尽管它们处理数据的方式天差地别 [1][2] - 引入“表征对齐度”指标后发现,模型预测物质能量越准确,其思维方式就越接近其他顶尖模型,在表达空间里会自发地向同一个方向靠拢 [3][5] - 一个处理文字(SMILES字符串)的模型与一个计算受力的物理模型,在“认知”上实现了高度对齐,表明它们通过不同路径抵达了相同的理解顶峰 [2] - 无论模型架构多么复杂,其最终提取的物质特征在数学复杂度上压缩到了一个非常窄的范围,抓取的都是最核心、最精简的物理信息 [5][6] 跨模态与跨领域的普遍性 - 认知收敛现象不局限于科学AI,在纯文本语言模型(如GPT)和纯图像视觉模型(如CLIP)中也存在 [9] - 当模型规模变大、性能变强时,语言模型中对“猫”的文本向量表示(靠近“毛茸茸”“宠物”等词)与视觉模型中对“猫”的图像向量表示(靠近胡须、圆眼睛等特征)会在线性空间中越来越接近 [11][14] - 这表明AI无论从文字、图像、分子结构还是3D坐标切入,只要足够强大,其内部表征都会趋向同一个对现实的“内在图景” [14] 低性能模型的局限与风险 - 性能不佳的模型有两种失败模式:一是各自在错误的道路上渐行渐远(表征对齐度低),二是集体漏掉关键信息,虽然想法一致但理解肤浅 [15] - 例如MACE-OFF模型在特定任务上表现强,但表征对齐度极低,其学到的规律难以迁移到其他科学任务上,可能只是“死记硬背”而非真正理解 [15] - 当AI遇到训练数据中从未见过的分子结构时,预测误差(MAE)会激增,且表征完全偏离正常的物理分布,表明其缺乏真正的泛化能力 [17] - 训练数据的多样性和质量是模型能否触及“真理”的基础,数据不足会导致模型无法进化成真正的通用基座模型,只能在舒适区内“原地踏步” [17] 对行业发展的启示与未来方向 - 研究挑战了盲目追求大算力和大参数量的行业竞赛,指出了一条更务实的路径:利用“真理收敛”特性,通过“模型蒸馏”将大模型的知识复刻到更轻量、高效的小模型上 [18][24] - 实验显示,即使是参数量较小的模型,只要其表征能与最佳性能模型对齐,同样能在分子能量预测等任务中获得极高的准确度 [20] - Orb V3模型展示了通过大规模训练和聪明的正则化手段,简单的架构也能学到昂贵、强加物理限制的模型才有的理解力,这为模型设计提供了新思路 [20] - 未来评估科学AI的标准将更加多元,不仅看其任务“考分”,更要看其是否踏入了“真理的收敛圈”,这有助于催生更多针对特定场景的轻量级AI,实现“算力自由”下的创新爆发 [22][25] - 行业的发展重点可能从设计复杂架构或漂亮公式,转向如何更稳定地让模型进入“收敛圈”,并利用“表征对齐”实现模型的轻量化和知识迁移 [24]