核心观点 - 研究提出基于能量的Transformer（EBT）模型，通过无监督学习实现系统2思维（慢速思维）能力，突破传统Transformer在复杂推理任务上的局限性 [9][10] - EBT在语言和图像任务中展现出显著优势：语言任务性能提升29%，图像去噪PSNR最高提升3.5，同时计算量减少99% [12][81][83] - 模型具备跨模态泛化能力，在分布外数据上表现尤为突出，预训练扩展速率比Transformer++最高提升35% [11][14][46] 技术原理 - EBT通过能量函数为输入-预测对分配能量值，采用梯度下降优化至最低能量状态模拟思考过程 [17][18][21] - 引入三种关键正则化技术：重放缓冲区、Langevin动力学变体、随机化梯度步长，确保能量曲面平滑性与凸性 [25][26][27][28] - 设计两种架构变体：解码器EBT（类似GPT）和双向EBT（支持掩码建模） [32][33] 性能表现 语言任务 - 扩展性全面超越Transformer++：数据效率提升35%，参数/FLOPs效率更高，预期千倍规模下优势更显著 [11][44][47] - 思考机制带来29%性能提升，自我验证增益从4-8%增至10-14%，且随训练规模扩大持续增强 [55][60][61] - 下游任务泛化能力更强，GSM8K困惑度降低6.3，BB Math QA降低7.2 [73][74] 视觉任务 - 图像去噪PSNR达27.25（比DiT高0.67），OOD噪声处理PSNR提升3.73，MSE降低413.5 [82][83] - 视频学习扩展速率快33%，SSV2数据集验证损失下降更显著 [76][78] - 仅需1%前向传播次数即可达到DiT同等去噪效果，PSNR提升速率更高 [86][88] 创新价值 - 首次实现无监督系统2思维建模，突破模态/问题依赖性限制，为AGI发展提供新范式 [8][10][15] - 能量机制自动捕捉预测不确定性（如文本token难度、视频帧可预测性） [63][65][80] - 计算效率革命性提升：图像任务减少99%计算量，语言任务优化多步推理 [83][88][92]