文章核心观点 - MIT何恺明团队提出极简扩散模型架构JiT，让模型直接预测干净图像本身，而非预测噪声或混合噪声 [10] - 该方法在高维像素空间中表现更强、更稳、更简单，无需潜在空间、分词器、预训练或额外损失函数 [11][13] - 直接预测干净图像的任务更简单，因为自然图像位于低维流形上，而噪声是高维乱流，网络容量有限时预测噪声会导致模型崩溃 [14][15][17] 技术原理与创新 - 核心思想是让网络预测干净数据，而非噪声或混合噪声，通过数学推导证明直接输出干净图像可使任务更简单 [18][19] - 即使在高维场景如3072维patch（32×32×3）中，只有直接预测干净图像的方式不会崩溃 [20] - 框架仅使用Vision Transformer直接在原始像素patch上操作，输入输出均为像素patch，结构极简 [17] 模型性能与实验结果 - 在ImageNet 256×256分辨率上，JiT-L/16模型FID达到2.36，JiT-G/16模型FID达到1.82，与依赖复杂潜在空间的大型扩散模型性能相当 [30] - 在512×512分辨率下，JiT-H/32模型FID为1.94，JiT-G/32模型FID为1.78，证明在3072维高维patch下仍能稳定训练 [31] - 在1024×1024超高分辨率下，JiT-B/64模型FID为4.82，且计算成本几乎不随分辨率增加而上升，序列长度保持恒定 [32] 架构优势与反直觉发现 - 即使将patch embedding压缩至低维瓶颈（如32维甚至16维），模型不仅未崩溃，FID指标反而显著提升，与低维流形假设一致 [27][28][35] - 模型可处理高达12288维的patch（64×64×3），完全摆脱潜在空间，在原生像素空间自洽工作 [24][25] - 该方法特别适合需要处理原始高维数据的领域，如具身智能和科学计算，有望成为更通用的生成基础方式 [34]