模型发布概况 - 字节跳动开源360亿参数大模型Seed-OSS-36B 采用Apache-2.0协议 支持免费学术研究与商业部署 [1][4] - 模型命名呼应OpenAI的GPT-OSS系列 基于内部技术专为开源社区打造 未直接开源商业模型豆包(Doubao) [3][4] 核心技术特性 - 原生支持512K上下文窗口 是主流开源模型DeepSeek V3.1(128K)的4倍 预训练阶段直接构建非后期插值实现 [5][6][7] - 引入思考预算(Thinking Budget)机制 通过设定token数量(建议512整数倍)控制模型思考深度 适应简单任务快速响应或复杂任务深度推理 [9][10][12] - 采用成熟架构设计:360亿参数稠密模型(非MoE) 64层网络 隐藏层维度5120 词汇表155K 集成RoPE/GQA/RMSNorm/SwiGLU技术 [13] 性能表现 - 知识理解:MMLU-Pro达65.1分(超越Qwen2.5-32B-Base的58.5分) TriviaQA获82.1分 [16] - 推理能力:BBH基准87.7分刷新开源记录 数学能力GSM8K达90.8分 MATH达81.7分 [17] - 代码能力:HumanEval得分76.8 MBPP达80.6 指令微调版在AIME24数学竞赛获91.7分仅次于OpenAI OSS-20B [18][19] - 训练效率:仅用12T token达成性能 低于同规模模型15T+数据量 [20] 团队技术布局 - Seed团队成立于2023年 定位"打造最先进AI基础模型" 覆盖大语言模型/多模态/AI基础设施领域 [21] - 已开源项目包括:8B代码生成模型Seed-Coder(自主管理训练数据) 多模态模型BAGEL(处理文本/图像/视频) 实验性语言模型Seed Diffusion(离散状态扩散技术) 训练框架VeOmni(PyTorch原生全模态分布式) 同声传译模型Seed LiveInterpret(低延迟音色复刻) [22][23][24][25] 生态影响 - 模型发布于Hugging Face与GitHub平台 强化国产开源基座模型阵营 [4][26] - 提供含合成指令数据(高性能)与无合成数据(高纯净度)双版本 满足研究社区差异化需求 [14]
字节突然开源Seed-OSS,512K上下文碾压主流4倍长度!推理能力刷新纪录
量子位·2025-08-21 10:36