核心观点 - Inception Labs推出基于扩散技术的商业级大语言模型Mercury，突破传统自回归模型限制，实现高质量代码生成且速度更快[1][2][8] - Mercury采用"从噪声到结构化输出"的扩散生成方式，能一次性预测所有方向token，生成速度比传统工具快10倍[2][8][9] - 模型保留Transformer架构，兼容现有大模型优化技术，在H100 GPU上实现1109 tokens/秒吞吐量[6][7][9][13] - 具备动态纠错能力，通过双向注意力机制和语法树嵌入减少代码错误，支持函数级参数自动校正[4][20][21][22] 技术架构 - **扩散生成流程**：训练阶段正向加噪，推理阶段反向去噪，每次迭代并行修改多个token[11][14] - **并行化文本生成**：单次前向传播预测多token，H100 GPU上Mercury Coder Mini/Small分别达1109/737 tokens/秒[13][9] - **动态去噪调度**：自适应调整去噪步数，平衡精度与效率[17] - **混合精度量化**：内存占用减少30%，通过残差补偿维持输出质量[18] 性能表现 - **基准测试**：在Copilot Arena将响应时间压缩至其他工具1/4，硬件资源占用减少60%[15] - **速度对比**：Mercury Coder Mini延迟0.25秒排名第一，显著低于DeepSeek V2.5(2.07秒)和Claude 3.5 Sonnet(1.46秒)[16] - **多语言支持**：Mercury Coder Small在CPP/Java/TS等语言平均准确率76.2，优于多数开源模型[23] 行业影响 - **CI/CD瓶颈**：模型生成速度远超测试环节，需解决计算资源投入与预算限制的矛盾[24][26][28] - **团队背景**：创始团队包括扩散模型共同发明人及Meta/OpenAI/NVIDIA前成员，具备顶尖学术与工业界经验[29][30][34]

模型技术 - LaViDa是一种基于扩散模型的视觉-语言模型(VLM)，能够联合处理视觉和文本信息，继承了扩散语言模型高速且可控的优点[1] - 不同于流行的自回归VLM，LaViDa将文本生成视为在离散token上的扩散过程，通过前向过程将文本token序列退化为掩码token序列，再通过反向过程转换为有意义的文本[3] - 扩散模型相比自回归模型具有多项优势：可通过调整扩散步骤数量灵活控制速度与质量平衡，能够建模双向上下文，更适合文本填空等任务[4] 模型架构 - LaViDa由视觉编码器和扩散语言模型组成，通过MLP投射网络连接[10] - 视觉编码器使用SigLIP-400M，将输入图像调整为多个视图并独立编码，产生3645个嵌入，通过平均池化减少到980个以提高训练效率[12][13] - 扩散语言模型采用多层Transformer架构，注意力掩码为非因果式，使用扩散语言建模目标而非下一个token预测[13] 训练方法 - 采用两阶段训练流程：预训练阶段仅更新投射算子使视觉嵌入与DLM隐空间对齐，微调阶段对所有组件进行端到端联合训练以实现指令遵循[19] - 通过第三阶段训练得到专用模型：使用1.92万个CoT样本蒸馏得到推理模型LaViDa-Reason，在MathVision等基准上相对提升达18%[25][27] - 使用阶段2数据20%子集进行额外训练得到LaViDa-FIM，支持长度可变的文本填空，在约束诗歌生成任务中实现100%约束满足率[30][32] 性能表现 - 在一般视觉-语言理解任务中，LaViDa-L在MMMU上取得43.3分，优于所有同类模型[22] - 在科学任务中，LaViDa在ScienceQA上取得81.4和80.2分，在AI2D上与Open-Llava-Next表现相当[23] - 在OCR任务中表现尚可但落后于最新自回归模型，主要因平均池化导致细粒度空间信息丢失[23] - 通过控制离散化步数K实现速度与质量权衡：NFE=75%和50%时速度比自回归基线更快且质量更好，NFE=25%时速度明显更快但性能略逊[35]