小米突发新模型,主打“极致性价比”,罗福莉:“这只是我们AGI图线路上的第二步”

公司核心产品发布 - 公司于深夜“突袭式”发布并开源了最新的专家混合架构大语言模型MiMo-V2-Flash,模型总参数量达3090亿,活跃参数为150亿,采用MIT开源协议,基础版权重已在Hugging Face上发布 [1] - 公司团队负责人明确表示,该模型的发布是其AGI路线图上的第二步,凸显了公司在AI领域的长远规划和技术雄心 [3] - 模型已在API平台限时免费开放,并以MIT开源协议在Hugging Face上发布了基础版权重 [8] 产品性能与市场定位 - 在SWE-bench Verified编程能力测试中,模型取得了73.4%的得分,超越了所有已知的开源模型,并接近顶级闭源模型水平 [5] - 在AIME 2025数学竞赛和GPQA-Diamond科学知识测试等推理项目中,模型位列开源模型前两名,综合性能与DeepSeek-V3.2等主流大模型相比具有竞争力 [5] - 在智能体任务上,模型在τ²-Bench分类得分中,于通信、零售、航空等多个类别均获得高分,证明其具备理解复杂任务逻辑和执行多轮交互的能力 [8] - 官方公布的定价为每百万输入token 0.1美元、输出token 0.3美元,结合高达150 tokens/秒的推理速度,公司称其为现有最高性价比的高性能模型之一 [4][8] 技术创新与架构 - 模型采用“混合滑动窗口注意力机制”,以5:1的混合比例(每5层滑动窗口注意力搭配1层全局注意力),将KV缓存的存储量减少了近6倍,同时支持高达256k的超长上下文窗口 [9] - 团队发现128个token的窗口大小是“最佳选择”,盲目扩大到512反而会导致性能下降,并强调“sink values是不可或缺的” [9] - 模型应用了轻量级多Token预测技术,使模型能一次并行预测多个token,将推理速度提升2至2.6倍,通过3层MTP,平均接受token数超过3个,编码任务速度提升约2.5倍 [11] - 在训练阶段,模型在预训练阶段使用FP8混合精度技术,在27万亿token的数据上完成训练 [14] - 在后训练阶段引入了多教师在线策略蒸馏框架,该方法仅需传统SFT与强化学习相结合方法的1/50算力,就能让学生模型达到教师模型的性能峰值 [14] - 这一训练框架为构建一个“自我强化循环系统”奠定了基础,可实现模型的持续、高效迭代 [16] 战略影响与行业展望 - 模型的入局可能搅动现有开源AI模型的竞争格局,其极低的成本和高速推理能力,为开发者和企业提供了极具吸引力的选择,或将加速高性能AI技术在更广泛场景的应用和普及 [4] - 强大的自研AI底层能力,将为其庞大的“手机 x AIoT”生态系统形成强大赋能,并为其手机、IoT设备乃至新能源汽车等硬件产品带来独特的智能化体验,构筑更深的生态护城河 [4][17] - 摩根士丹利研报观点称,此举“展示了公司对AI研发的承诺”,并预计该公司未来将在云端AI和边缘AI两方面取得更多实质性进展 [17] - 此举揭示了公司意图通过自研AI技术深度赋能其“人车家”全生态的战略野心 [18]

小米突发新模型,主打“极致性价比”,罗福莉:“这只是我们AGI图线路上的第二步” - Reportify