文心5.0大模型技术架构与特点 - 百度发布并上线原生全模态大模型文心5.0正式版,模型参数达2.4万亿 [1] - 采用原生全模态统一建模技术,将文本、图像、视频、音频等多源数据在同一自回归架构下进行联合训练,实现原生的全模态统一理解与生成 [1] - 采用超大规模混合专家结构,激活参数比低于3%,在保持强大能力的同时有效提升推理效率 [1] - 基于大规模工具环境,采用基于思维链和行动链的端到端多轮强化学习训练,显著提升了模型的智能体和工具调用能力 [1] 文心应用模型矩阵与技术突破 - 基于文心基础大模型,百度构建了面向产品级应用的矩阵模型和面向行业应用的专精模型 [4] - 矩阵模型包括文心Lite模型、视频大模型和语音大模型 [4] - 专精模型包括搜索闪电专精模型、电商蒸汽机模型、文心数字人大模型及行业大模型 [4] - 技术突破一:基于声音Token的端到端合成大模型,通过离散表示、MoE建模韵律、flow后处理及Unet自重构特征vocoder来描述声音 [4] - 技术突破二:5分钟超越真人的直播技术,通过对目标音色少量采样并匹配不同文体和场景的韵律模式,使合成语音具备直播带货所需的情绪、节奏与感染力 [4] - 技术突破三:实时交互数字人技术,采用三态Token联动架构实现文本、语音、视频的流式控制,具有低延迟、低成本和高表现力的特点 [5] 百度千帆平台与AI应用生态 - 百度千帆平台提供专为行业落地打造的Agent Infra,提供包括文心5.0及全场景150+SOAT模型服务 [5] - 平台集成了包括百度AI搜索在内的众多工具及MCP和Agent工具链,并结合数据管理和企业级服务,为企业提供全周期、稳定支持多场景业务的运行环境 [5] - 目前千帆平台上已累计开发超130万个Agents [6] - 以百度独家能力“百度AI搜索”为代表的工具日均调用量已突破千万次 [6] 公司对AI模型价值的核心观点 - 公司认为应用模型的价值不在模型里,而在应用里,目标是让模型在真实应用场景里“跑得稳、答得对、用得起” [3]
模型参数达2.4万亿,百度发布文心大模型5.0