Workflow
百度开源文心4.5系列10款模型,多项评测结果超DeepSeek-V3

百度文心大模型4.5系列开源 核心观点 - 百度正式开源文心大模型4.5系列,包含10款模型,涵盖47B和3B混合专家(MoE)模型及0.3B稠密参数模型,最大模型总参数量达424B,预训练权重和推理代码完全开源 [1] - 模型在多项评测中超越Qwen3和DeepSeek-V3,尤其在多模态理解、生成真实性方面表现突出 [5][8] - 开源模型已上线飞桨星河社区、Hugging Face等平台,并支持百度智能云千帆大模型平台API服务 [3][4] 模型能力与技术细节 模型架构与性能 - 包含原生多模态基础大模型,支持图片、音视频等多模态数据理解,生成效果更真实 [5] - 模型基准测试对比: - ERNIE-4.5-300B-A47B-Base在C-Eval、CMMLU、MMCU等评测中分别达91.5、91.2、95.9,均高于Qwen3和DeepSeek-V3 [8] - 数学能力(GSM8K、MATH)表现优异,ERNIE-4.5-300B-A47B-Base分别达91.8和69.1 [8] - 采用飞桨框架训练,FLOPs利用率达47%,支持Apache 2.0协议开源 [9] 关键技术突破 1. 多模态异构MoE预训练:通过模态隔离路由、路由器正交损失等技术实现文本与视觉模态联合训练,提升跨模态推理性能 [9][10] 2. 高效基础设施: - 训练端采用异构混合并行、FP8混合精度,推理端引入4位/2位无损量化和PD分解,提升吞吐量与性能 [12] 3. 特定模态后训练: - 通过SFT、DPO/UPO强化学习方法优化视觉-语言模型,结合RLVR提升对齐能力 [12][13] 开发者反馈与行业影响 - 开发者认为300B参数版本可与DeepSeek V3 671B竞争,21B版本对标阿里Qwen 30B [14] - 28B模型因增加视觉功能受到关注 [15] - 行业期待文心大模型4.5 Turbo后续开源 [17]