科大讯飞:讯飞星火对标A100的训练效率优化后达到85%-95%以上
公司技术路线与战略选择 - 公司在有限算力资源条件下,持续投入优化大模型训练和推理成本效率 [1] - 公司选择了更难的全国产算力路线,而非直接使用英伟达卡进行工程优化 [1] 与华为的合作与技术攻关历程 - 自2023年5月起,公司联合华为攻克了万卡高速互联组网、计算通信隐藏、训练推理强交互、高吞吐推理优化以及国产算子优化等一系列难题 [1] - 通过联合攻关,将通用大模型、类o1的深度推理模型等的训练效率对标A100均从最初的30%-50%优化达到了85%-95%以上 [1] 2025年国产算力训练的关键突破 - 公司攻克了长思维链强化学习训练效率,深度推理训练效率从对标A800的30%提升至84%以上 [1] - 公司攻克了MoE模型全链路训练效率,MoE模型的训练效率从2025年3月对标A800的30%提高到93% [1] - 上述突破实现了国产算力平台上在该领域从0到1的重大突破 [1] 未来成本与能力展望 - 随着国产算力在底层能力上进一步提升,讯飞星火的训练成本还有较大的下降空间 [1]