模型架构与性能 - 采用创新混合专家模型架构 总参数560B 激活参数范围18.6B-31.3B 平均激活27B [2] - 引入零计算专家机制 实现算力按需分配和高效利用 [4] - 层间铺设跨层通道 使通信与计算并行 大幅提升训练和推理效率 [5] 性能表现 - 在多项基准测试中性能比肩主流领先模型 智能体任务表现突出 [2] - 在H800上实现单用户100+ tokens/s推理速度 输出成本低至5元/百万token [5][7] - 通过算法工程联合设计 理论成本与速度大幅领先同业同等规模模型 [7] 训练优化 - 采用PID控制器实时微调专家偏置 将单token平均激活量稳定在27B [4] - 30天内完成高效训练 使用超参迁移技术改进训练方式 [5] - 自建智能体评测集指导数据策略 采用多智能体方法生成高质量轨迹数据 [7] 应用场景 - 非思考型基础模型 具备更快推理速度 适合耗时较长的复杂智能体应用 [2] - 模型开源是公司Building LLM战略进展的首度曝光 [4] - 公司今年已发布AI Coding Agent/经营决策助手/酒店AI Agent等多款应用 [4]