文心大模型4.5系列(ERNIE 4.5)

搜索文档
赛道Hyper | 百度开源ERNIE 4.5:策略是什么?
华尔街见闻· 2025-07-01 17:39
百度开源文心大模型4.5系列 - 公司正式开源文心大模型4.5系列(ERNIE 4.5),涵盖10款不同参数规模的模型,包括47B(470亿)、3B(30亿)激活参数的混合专家(MoE)模型及0.3B(3亿)参数的稠密型模型,预训练权重与推理代码均完全开放 [1] - 模型已可在飞桨星河社区、HuggingFace等平台下载,百度智能云千帆大模型平台同步提供API服务 [1] - 开源动作延续科技领域"开放协作"传统,为大模型技术落地提供新可能性 [2] 模型技术架构与特点 - 10款模型形成从0.3B到47B参数的梯度覆盖,囊括基础文本模型和视觉多模态模型(VLM) [3] - 除0.3B模型外均采用异构多模态MoE架构,通过"分而治之"策略提升性能 [3] - 异构MoE架构包含文本专家、视觉专家和共享专家三类FFN专家,通过门控网络动态选择最优专家组合 [4][5][6] - 原生多模态能力优化体现在模态融合而非技术堆砌,文本任务性能稳定基础上增强多模态处理能力 [4] 开发者生态与工具支持 - 配套开发工具链包括ERNIEKit训练工具和FastDeploy推理部署工具,降低开发者使用门槛 [7] - 开源遵循"技术-用户-数据"正向循环逻辑,开发者二次开发产生的数据反哺模型迭代 [8] - 飞桨平台与文心模型形成"双层开源"结构,开发者参与协同优化增强生态粘性 [9][10] - 采用Apache 2.0协议平衡共享与权益保护,允许商业使用但需保留原作者信息 [11] 开源战略与行业影响 - 开源是一种"分布式研发"策略,全球开发者智慧纳入创新体系降低整体研发成本 [12][13] - 提供"标准化基础上的差异化创新"路径,基础模型统一减少重复研发浪费 [13][14] - 开源模式使技术能力可验证,开发者可追溯模型决策逻辑链条 [15] - 全量开源向全球开发者递出技术名片,助力国产技术融入全球创新网络 [16]