专家混合(Mixture-of-Experts

搜索文档
六年来首次开源,OpenAI放出两款o4-mini级的推理模型
金十数据· 2025-08-06 11:47
产品发布 - OpenAI正式推出两款开源AI推理模型GPT-oss-120b和GPT-oss-20b 通过开发者平台Hugging Face免费下载 在多个开放模型评估基准中表现为最先进 [1] - GPT-oss-120b可在单张英伟达GPU上运行 GPT-oss-20b可在配备16GB内存的消费级笔记本电脑上运行 [1] - 两款模型采用Apache 2.0开源协议 允许企业在无需授权或付费的前提下将模型应用于商业场景 [5] 战略背景 - 此次发布标志着OpenAI自六年前开源GPT-2以来首次重返开源语言模型领域 [1] - 公司早期曾开源AI模型 但此后转向封闭源代码商业化路径 以推动通过API销售模型访问权限的业务扩张 [1] - 首席执行官山姆·奥尔特曼今年1月坦言在开源问题上OpenAI站在了历史的错误一边 [1] 竞争环境 - 中国AI实验室如DeepSeek 阿里巴巴通义和Moonshot AI快速崛起 陆续发布多个全球领先的开源模型 使OpenAI面临前所未有的竞争压力 [2] - Meta的Llama系列在过去一年中逐渐落后 [2] - 特朗普政府今年7月公开呼吁美国AI公司应更多开源以加快具美国价值观的AI技术在全球推广 [2] 技术性能 - 在Codeforces编程竞赛测试中 GPT-oss-120b和GPT-oss-20b分别得分2622与2516 优于DeepSeek的R1模型 略逊于OpenAI自家的o3和o4-mini模型 [2] - 在人类终极考试HLE中 两款模型分别取得19%与17.3%的得分 虽然仍低于o3 但已超越DeepSeek和Qwen等主流开源模型 [3] - 两款GPT-oss模型的幻觉率明显高于o系列模型 其中GPT-oss-120b和GPT-oss-20b在PersonQA测试中的幻觉率分别为49%与53% 而o1模型仅为16% o4-mini为36% [3] 技术架构 - 模型采用专家混合MoE架构 通过仅激活部分参数实现运行效率最大化 GPT-oss-120b拥有1170亿参数 但每个token仅激活其中的5.1亿 [5] - 模型经过高算力强化学习RL后训练 在模拟环境中借助英伟达GPU集群学习判断对错 发展出思维链式推理路径 [5] - 当前两款模型仅支持文本输入输出 尚不具备图像 音频等多模态处理能力 [5] 安全与限制 - OpenAI明确表示不会公开训练数据来源 与完全开源模型不同 [6] - 公司曾多次推迟发布 部分原因为应对安全问题 专门评估模型是否可能被恶意微调用于网络攻击或生物武器研发等高风险用途 [6] - 经内部与第三方测试 OpenAI判断GPT-oss模型虽在某些生物学任务中表现提升 但尚未达到高风险门槛 [6] 行业影响 - OpenAI表示其开源模型可将复杂指令发送至云端AI模型执行 如果无法处理某些任务如图像处理 开发者可将其接入公司更强大的闭源模型实现协同运作 [1] - 公司称GPT-oss特别适用于AI代理应用 能在推理中调用外部工具如网页搜索或Python代码执行 [5] - 业内关注焦点正逐步转向即将发布的DeepSeek R2模型以及Meta旗下Superintelligence Lab的全新开源产品 [6]