Workflow
文心大模型 4.5 系列正式开源,涵盖 10 余款模型

百度文心大模型4.5开源系列 - 百度于6月30日正式开源文心大模型4.5系列,涵盖47B、3B参数的混合专家(MoE)模型和0.3B参数的稠密型模型等10款模型,实现预训练权重和推理代码完全开源 [1] - 开源模型可在飞桨星河社区、HuggingFace等平台下载部署,权重按照Apache 2.0协议开源,API服务可在百度智能云千帆大模型平台使用 [1] - 此次开源实现框架层与模型层的"双层开源",标志着公司在AI开源生态建设上的重要进展 [1] 模型技术特性 - 文心4.5系列采用多模态异构MoE预训练技术,通过模态隔离路由机制和双重优化策略提升多模态任务性能 [8] - 采用异构混合并行和分层负载均衡策略,结合FP8混合精度训练等技术,使预训练FLOPs利用率达到47% [7][8] - 支持4-bit/2-bit无损量化推理,基于PaddlePaddle框架实现跨硬件平台高性能部署 [8] 性能表现 - 文本模型在C-Eval(91.5)、CMMLU(91.2)等基准测试超越DeepSeek-V3和Qwen3同类模型 [7][9] - 多模态模型VL-424B-A47B在MMBench-cn(90.9)、OCRBench(872)等测试优于OpenAI o1闭源模型 [7][11] - 轻量级21B-A3B文本模型性能与同量级Qwen3相当,28B-A3B多模态模型表现接近32B参数的Qwen2.5-VL [7][12] 行业影响 - 此次开源包含10款模型,在自研模型占比、参数丰富度和开源宽松度等维度处于行业领先位置 [4] - 模型覆盖从0.3B到424B的参数范围,提供文本生成、图像-文本等多模态能力,满足多样化应用需求 [3][7] - 技术路线显示公司在MoE架构、多模态融合和高效训练基础设施等前沿方向的持续创新 [6][8]