阿里发布下一代基础模型架构Qwen3-Next

模型发布与性能 - 阿里发布了下一代基础模型架构Qwen3-Next,并开源了基于该架构的Qwen3-Next-80B-A3B系列模型 [1] - Qwen3-Next-80B-A3B-Base模型拥有800亿参数,但激活参数仅30亿 [1] 架构与技术创新 - 新架构相比Qwen3的MoE模型结构进行了核心改进,包括混合注意力机制、高稀疏度MoE结构、一系列训练稳定友好的优化,以及提升推理效率的多token预测机制 [1] 性能与成本效益 - Qwen3-Next-80B-A3B-Base模型实现了与Qwen3-32B dense模型相近甚至略好的性能 [1] - 该模型的训练成本仅为Qwen3-32B的十分之一不到 [1]

阿里发布下一代基础模型架构Qwen3-Next - Reportify