挑战 next token prediction，Diffusion LLM 够格吗？ - Gemini Diffusion 采用扩散架构进行文本生成，平均采样速度达1479 TPS，编码任务中可达2000 TPS，比Gemini 2.0 Flash-Lite快4-5倍 [4] - 扩散架构通过迭代去噪实现并行生成，与自回归架构不同，采用"从粗到细"的生成方法，具备并行处理能力 [6] - 扩散模型能并行优化整个序列，显著减少计算开销，有望在模拟硬件上运行从而降低能源成本 [6][7] - 此前已有Diffusion-LM、DiffuSeq、DiffusionBERT等探索，近期LLaDA系列在8B规模验证了Diffusion LLM的效果 [7][9] Diffusion LLM的潜在优势 - 并行生成机制可同时生成所有token，极大提升文本生成效率 [8] - 具备文本插值能力，可生成句子间衔接内容，提高流畅性和连贯性 [8] - 提供细粒度控制和高稳健性等优势 [8] - 本质上与自回归模型同为生成式模型，优良性质源于极大似然估计而非特定建模方式 [10] AI推理成本暴跌的影响 - AI模型训练成本与推理成本"剪刀差"将重塑行业竞争格局 [1] - 企业需平衡算力投入与商业化回报 [1] - 中国开源模型崛起对全球供应链有潜在影响 [1] - 人机协作时代需平衡劳动力结构转型与技能重塑 [1]