公司动态 - 腾讯于4月23日发布并开源了其混元Hy3 preview语言模型 [1] - 该模型是混元迄今最智能的模型，也是公司大模型基础设施重建后的首个成果 [3] 技术规格 - 模型采用快慢思考融合的混合专家（MoE）架构 [2] - 模型总参数量为2950亿（295B），激活参数量为210亿（21B） [2] - 模型最高支持256K的上下文长度 [2] 战略与规划 - 公司在2024年2月重建了预训练和强化学习的基础设施 [3] - Hy3 preview是混元大模型重建计划的第一步 [3] - 公司计划继续扩大预训练和强化学习的规模，以提升模型的智能上限 [3]