混合专家架构在视觉生成领域的挑战与核心问题 - 混合专家架构在大语言模型中成功扩展了模型容量并保持了计算效率，但在应用于视觉生成领域的Diffusion Transformer时收益有限，未能复刻其在语言模型中的成功[2] - 视觉Token与语言Token存在根本差异：视觉Token具有高度空间冗余性和功能异质性，这阻碍了视觉MoE中专家的专业化[3] - 具体而言，语言Token语义密度高、簇间分离良好，而视觉Token较为分散，其类间距离与类内距离的比值量化结果为19.283远大于0.748，证明了视觉Token的冗余性[7] ProMoE框架的创新设计 - 为解决上述问题，研究团队提出了ProMoE框架，其核心是通过两步路由和显式语义路由引导来实现“专家内一致”和“专家间多样”[9] - 第一步为条件路由：根据Token的功能角色进行硬路由分配，无条件图像Token直接分配给专门的无条件专家，条件图像Token则进入下一步，实现了专家的功能隔离[10] - 第二步为原型路由：对于条件图像Token，引入一组可学习的“原型”，通过计算Token与各原型间的余弦相似度得到路由分数，将Token分配给对应专家[10] - 引入路由对比学习作为显式语义路由引导：通过拉近Prototype与分配给它的Token集合质心，以及推开Prototype与其他专家处理的Token集合质心，来增强语义引导和专家多样性[11][13] ProMoE的实验性能与结果 - 在模型配置上，ProMoE系列包含从S到XL的不同规模，例如ProMoE-L总参数量为1.063B，激活参数量为458M[18] - ProMoE在各种规模和设置下稳定超越了稠密模型，参数量仅1.063B的ProMoE-L-Flow，凭借更少的激活参数，超越了计算量更大的Dense-DiT-XL-Flow[19] - 与现有视觉MoE方案对比中，ProMoE-L-Flow以1.063B的总参数量和77.72 GFLOPs的计算量，在FID和IS指标上超越了总参数量1.846B、拥有16个专家的DiffMoE-L-Flow[22][23] - 在GenEval基准测试中，ProMoE在所有子任务上优于标准的Token-Choice MoE模型，展现出更强的泛化能力[24][25] - 训练曲线显示ProMoE的收敛速度明显快于稠密模型和现有MoE模型，并且随着模型尺寸从Base扩展至XL，以及专家数量从4增加到16，其生成性能均呈现稳定提升，展现出扩展潜力[28][31]

公司技术发布 - 美团正式发布并开源LongCat-Flash-Chat模型 [2] - 模型采用创新性混合专家模型（Mixture-of-Experts, MoE）架构 [2] - 总参数规模达560B（5600亿） [2] - 激活参数范围为18.6B至31.3B（平均27B） [2] 模型性能表现 - 在多项基准测试中性能比肩当前领先主流模型 [2] - 作为非思考型基础模型在智能体任务中具备突出优势 [2] - 通过仅激活少量参数实现计算效率与性能双重优化 [2]

大型语言模型训练技术演进 - 大型语言模型训练分为两个阶段：预训练阶段通过大规模文本数据集训练模型预测下一个词，后训练阶段旨在提升模型理解和执行人类指令的能力[1] - 后训练阶段采用强化学习技术，OpenAI首创基于人类反馈的强化学习（RLHF），依赖人工标注但成本高效率低[2] - DeepSeek创新性地用自动化RL技术替代人工评估，通过奖励信号自主学习，显著降低成本并提高效率[2] 强化学习算法对比 - OpenAI在ChatGPT中采用近端策略优化（PPO）算法[3] - DeepSeek提出组相对策略优化（GRPO）算法，通过组样本价值估计提升效率，成为DeepSeek-R1核心技术[3] - Qwen团队指出GRPO存在稳定性问题，提出组序列策略优化（GSPO）算法，在Qwen3系列模型中实现更稳定训练[10][22] GRPO的技术缺陷 - GRPO采用逐token重要性采样，导致长序列训练中方差累积和梯度不稳定[11][16] - 在MoE模型中问题加剧，10%的专家网络激活变化导致训练低效[25] - 实验显示GRPO在CodeForces任务中得分收敛于2000分以下，而GSPO持续提升展现更强可扩展性[20] GSPO的创新优势 - 将重要性采样提升至序列级别并通过长度归一化，显著降低方差[23] - 无需Routing Replay等辅助策略即可稳定训练MoE模型，保留架构潜力[27] - 在48层Qwen3-30B-A3B-Base模型训练中，消除10%专家网络激活差异问题[25] 行业技术发展趋势 - Qwen3系列模型通过GSPO在知识数学、编程等测评中超越Kimi-K2、Claude-Opus4等顶级模型[5] - 实验证明GSPO训练效率显著高于GRPO，可能成为后训练强化学习新标准[31] - 行业共识认为强化学习在后训练阶段对提升大语言模型推理能力至关重要[31]

产品发布 - OpenAI正式推出两款开源AI推理模型GPT-oss-120b和GPT-oss-20b 通过开发者平台Hugging Face免费下载 在多个开放模型评估基准中表现为最先进 [1] - GPT-oss-120b可在单张英伟达GPU上运行 GPT-oss-20b可在配备16GB内存的消费级笔记本电脑上运行 [1] - 两款模型采用Apache 2.0开源协议 允许企业在无需授权或付费的前提下将模型应用于商业场景 [5] 战略背景 - 此次发布标志着OpenAI自六年前开源GPT-2以来首次重返开源语言模型领域 [1] - 公司早期曾开源AI模型 但此后转向封闭源代码商业化路径 以推动通过API销售模型访问权限的业务扩张 [1] - 首席执行官山姆·奥尔特曼今年1月坦言在开源问题上OpenAI站在了历史的错误一边 [1] 竞争环境 - 中国AI实验室如DeepSeek 阿里巴巴通义和Moonshot AI快速崛起 陆续发布多个全球领先的开源模型 使OpenAI面临前所未有的竞争压力 [2] - Meta的Llama系列在过去一年中逐渐落后 [2] - 特朗普政府今年7月公开呼吁美国AI公司应更多开源以加快具美国价值观的AI技术在全球推广 [2] 技术性能 - 在Codeforces编程竞赛测试中 GPT-oss-120b和GPT-oss-20b分别得分2622与2516 优于DeepSeek的R1模型 略逊于OpenAI自家的o3和o4-mini模型 [2] - 在人类终极考试HLE中 两款模型分别取得19%与17.3%的得分 虽然仍低于o3 但已超越DeepSeek和Qwen等主流开源模型 [3] - 两款GPT-oss模型的幻觉率明显高于o系列模型 其中GPT-oss-120b和GPT-oss-20b在PersonQA测试中的幻觉率分别为49%与53% 而o1模型仅为16% o4-mini为36% [3] 技术架构 - 模型采用专家混合MoE架构 通过仅激活部分参数实现运行效率最大化 GPT-oss-120b拥有1170亿参数 但每个token仅激活其中的5.1亿 [5] - 模型经过高算力强化学习RL后训练 在模拟环境中借助英伟达GPU集群学习判断对错 发展出思维链式推理路径 [5] - 当前两款模型仅支持文本输入输出 尚不具备图像 音频等多模态处理能力 [5] 安全与限制 - OpenAI明确表示不会公开训练数据来源 与完全开源模型不同 [6] - 公司曾多次推迟发布 部分原因为应对安全问题 专门评估模型是否可能被恶意微调用于网络攻击或生物武器研发等高风险用途 [6] - 经内部与第三方测试 OpenAI判断GPT-oss模型虽在某些生物学任务中表现提升 但尚未达到高风险门槛 [6] 行业影响 - OpenAI表示其开源模型可将复杂指令发送至云端AI模型执行 如果无法处理某些任务如图像处理 开发者可将其接入公司更强大的闭源模型实现协同运作 [1] - 公司称GPT-oss特别适用于AI代理应用 能在推理中调用外部工具如网页搜索或Python代码执行 [5] - 业内关注焦点正逐步转向即将发布的DeepSeek R2模型以及Meta旗下Superintelligence Lab的全新开源产品 [6]