Workflow
7B参数规模能力超越OpenAI !小米推出首个推理开源大模型Mimo【附大模型行业发展趋势分析】

(图片来源:摄图网) 其中,中国科技公司在大模型领域掀起的开源浪潮,正以技术破局之势重塑全球人工智能创新版图。 据"小米大模型"公众号消息,小米开源首个为推理(Reasoning)而生的大模型「XiaomiMiMo」,联动预训 练到后训练,全面提升推理能力,目前MiMo-7B的全系列模型均已实现开源。 在数学推理(AIME24-25)和代码竞赛(LiveCodeBenchv5)公开测评集上,MiMo仅用7B的参数规模,超 越了OpenAI的闭源推理模型o1-mini和阿里Qwen更大规模的开源推理模型QwQ-32B-Preview。 小米技术团队表示,MiMo的核心突破在于预训练与后训练阶段的协同优化。在预训练阶段,模型通过挖掘 高质量推理语料并合成约2000亿tokens专项数据,采用三阶段渐进训练策略,累计训练量达25万亿tokens。 后训练阶段则引入创新强化学习技术,包括自研的"Test Difficulty Driven Reward"算法和"Easy Data Re- Sampling"策略,有效提升模型在复杂任务中的稳定性。技术团队还开发了"Seamless Rollout"系统,使训练 效率提 ...