核心观点 - Meta FAIR、剑桥大学与麻省理工学院的联合科研团队提出全原子扩散Transformer ADiT，首次实现用单一模型生成分子与晶体，打破周期性与非周期性系统的建模壁垒 [1][3] - ADiT通过全原子统一潜在表示与Transformer潜在扩散两大创新，显著提升训练和推理效率，生成10,000个样本的时间从2.5小时缩短至20分钟以内 [3] - 模型参数扩展至5亿规模时性能呈现可预测线性提升，为构建通用型生成化学基础模型奠定关键基础 [3] 技术突破 - ADiT设计几乎不引入归纳偏差，自编码器与扩散模型在训练和推理效率上远超传统等变扩散模型 [3] - 首次实现适用于周期性材料和非周期性分子系统生成模型的统一，有效简化生成过程 [5] - 采用变分自编码器（VAE）进行全原子重建，将分子和晶体嵌入共享潜在空间，为统一处理搭建基础框架 [9] 实验数据 - 研究团队选取MP20数据集（45,231个亚稳态晶体结构）、QM9数据集（130,000个稳定有机小分子）、GEOM-DRUGS数据集（430,000个大型有机分子）及QMOF数据集（14,000个金属有机框架结构）展开实验 [7][8] - MP20与QM9分别对应周期性与非周期性系统，为联合训练提供基础 [8] - GEOM-DRUGS与QMOF进一步拓展模型测试范围，全面检验泛化能力 [8] 性能表现 - ADiT在晶体和分子生成任务中均达到SOTA水平，在有效性、稳定性、独特性和新颖性等关键指标上表现出色 [12] - 联合训练机制带来显著性能增益，同时在QM9和MP20数据集上训练的ADiT全面优于单一数据集训练版本 [12] - 模型规模与性能强相关，DiT去噪器参数量从3,200万增至4.5亿时，扩散训练损失持续降低，有效性比率稳步提升 [13] 效率优势 - 在英伟达V100 GPU上生成10,000个样本时，ADiT推理速度远超等变基线模型，即便参数规模大100倍仍更快 [14] - 在GEOM-DRUGS分子数据集上，ADiT与最先进的等变扩散和流匹配模型表现相当，体现设计通用性 [16] - 基于标准Transformer架构，无需显式预测原子键即可达到与等变模型相当性能 [16] 行业动态 - 加州大学伯克利分校、微软研究院与Genentech公司推出多模态蛋白质生成方法PLAID，性能卓越 [17] - 百奥几何发布全球首款全能蛋白质基础模型GeoFlow V2，攻克蛋白质结构预测与设计任务 [17] - 字节跳动Seedance 1.0采用变分自编码器与扩散Transformer结合技术，实现快速高效AI视频生成 [17]