Workflow
腾讯混元TurboS
icon
搜索文档
腾讯混元TurboS技术报告首次全公开:560B参数混合Mamba架构,自适应长短链融合
AI前线· 2025-05-23 03:57
腾讯混元TurboS模型技术亮点 - 采用创新的Hybrid Transformer-Mamba架构MoE设计,结合Mamba长序列处理效率与Transformer上下文理解优势,实现性能与效率平衡 [2] - 模型激活参数56B(总参数560B),为业界首个大规模部署的Transformer-Mamba专家混合模型 [2] - 引入自适应长短思维链机制,动态切换快速响应与深度思考模式,优化计算资源分配 [7] 模型性能表现 - 在LMSYS Chatbot Arena评测中获1356分,全球排名第7,国内仅次于Deepseek [1][2] - 多语种能力突出,中文/法语/西班牙语并列全球第一,韩文排名全球第二 [4] - 四大关键任务(困难提示/创意写作/多轮对话/长问题)均进入全球前五 [5] 架构与训练创新 - 采用128层交错式"AMF"(Attention→Mamba2→FFN)和"MF"模块设计,FFN层占比50%,Mamba2层占44.5% [14][15] - 预训练使用16万亿Token语料,上下文窗口扩展至256K Tokens [10][18] - 后训练包含监督微调/自适应CoT融合/多轮推敲学习/两阶段强化学习四模块 [22] 基准测试对比 - 数学推理表现仅次于DeepSeek-v3-0324,GSM8K达94.4分,MATH达90分 [41] - 逻辑推理在BBH/DROP/Zebra-Logic基准与DeepSeek-V3共同树立新标杆 [42] - 中文任务表现强劲,C-Eval得分88.7,CMMLU达89.4 [20][42] 基础设施优化 - 自研Angel-RL训练框架集成5种并行技术,ZeroCache技术降低GPU显存压力 [45][46] - 推理部署优化实现1.8倍加速,数学/编程任务Token消耗减少35%-45% [47] - Mamba Kernel优化增强计算并行性,MoE专家并行缓解解码显存瓶颈 [47]
腾讯研究院AI速递 20250522
腾讯研究院· 2025-05-21 23:01
谷歌Veo 3视频生成技术 - Veo 3实现音画同步生成功能,能根据提示词同时生成视频画面、对白、唇动和音效,实现完整的视听体验 [1] - 基于V2A技术,模型能将视频像素转化为语义信号,配合文本提示生成匹配音频 [1] - 模型支持长提示词理解和多步骤事件流生成,但目前仅限8秒视频,面向美国Ultra订阅用户开放,定价249.99美元/月 [1] 谷歌Gemini Diffusion文本生成技术 - Gemini Diffusion采用扩散技术生成文本,速度达2000token/秒,12秒可生成1万tokens [2] - 区别于传统自回归模型从左到右生成,通过逐步优化噪声学习生成输出,可快速迭代和错误纠正 [2] - 性能可与更大的模型Gemini 2.0 Flash-Lite相媲美,支持非因果推理,能一次生成整个标记块 [2] 腾讯混元模型升级 - 腾讯混元TurboS排名全球前八,引入长短思维链融合技术后,理科推理提升10%,代码能力提升24%,竞赛数学提升39% [3] - 基于TurboS新推出视觉深度推理模型T1-Vision和端到端语音通话模型混元Voice,前者理解速度提升50%,后者语音通话延迟降至1.6秒 [3] - 多模态领域全面升级:图像2.0实现毫秒级生图,3D v2.5提升几何精度,并承诺持续推进全系模型开源 [3] 字节语音播客模型 - 字节推出豆包·语音播客模型,基于流式模型实现文本到双人对话播客的秒级转化,支持热点内容快速生成 [4] - 模型突破传统AI播客痛点,实现双人对话自然流畅、高度拟人的语音效果,并具备深度搜索功能,5秒可生成热点播客 [5] - 支持灵感创作和超长文本转播客功能,将在豆包APP、PC端和扣子等产品陆续上线 [5] 谷歌FLOW AI视频剪辑工具 - FLOW是谷歌首个AI视频创作产品,支持Veo3视频生成,需在输入框设置选择"Highest Quality"可开启声音功能 [6] - 提供三种生成方式:文生视频(仅支持英文提示词)、图生视频(支持首尾帧控制)、素材转视频(可用3张参考图+1张风格图) [6] - 具备视频剪辑功能,可调整分镜顺序、删除分镜、延长视频(需通过"跳转到"功能实现),最终可导出1080P完整视频作品 [6] Google智能眼镜与Android XR - Google联合Xreal推出Project Aura智能眼镜,搭载Gemini 2.5 Pro和Project Astra,实现实时翻译、视觉搜索和多模态上下文理解 [7] - 作为首个Gemini时代构建的Android平台,Android XR支持150多个国家45种语言,能通过双摄像头和多个麦克风实现强大的AI交互体验 [7] - Google与Gentle Monster和Warby Parker合作开发时尚科技眼镜,注重隐私保护,但由于Gemini限制,国内用户或难以体验完整功能 [7] 英伟达DreamGen机器人学习项目 - 英伟达推出DreamGen项目,让机器人在神经网络生成的「梦境世界」中自主学习,通过生成大量带标签的神经轨迹实现技能掌握和泛化 [8] - 项目在多种机器人上验证效果显著:类人机器人GR1成功率提升至46.4%,机械臂Franka提升至37%,SO-100提升至45.5%,实现了对陌生动作和环境的泛化 [8] - DreamGen通过微调视频世界模型、生成平行世界视频、提取伪动作标签、训练机器人基础模型四大流程,将合成数据规模扩展至原始数据333倍 [8] FaceAge AI年龄预测技术 - Mass General Brigham团队开发的AI模型FaceAge,通过分析人脸照片预测生物年龄,在56,000多张60岁以上人群照片上训练,能评估癌症患者治疗预后 [10] - 研究显示AI判定"显老"10岁的患者死亡风险增加11-15%,癌症患者平均比实际年龄老4.79岁,且当前吸烟者平均增加33.24个月衰老程度 [10] - FaceAge目前存在局限性:训练数据主要基于白人面孔,整容、化妆等因素影响未知,且可能存在隐私和医疗伦理风险,距离临床应用仍有距离 [10] 微软CPO谈AI时代产品管理 - 微软CPO认为Prompt正在取代传统PRD,成为AI时代构建产品的起点,并强调"品味"和"编辑能力"成为产品经理的关键能力 [11] - AI时代的产品开发应着重于原型验证,从想法到Demo的时间缩短,但从Demo到全面上线时间变长,要避免过早设定指标,关注用户真实反馈 [11] - 好的产品需满足三个关键转折点中的两个:技术层面飞跃、用户行为变化和商业模式变化 [11] AI对未来人类社会的潜在影响 - "已解决的世界"(所有实际问题都由AI解决)可能在当代人有生之年出现,届时人类将面临意义和目标缺失的挑战 [12] - 在这个世界中,人类不再需要为生计工作,但也失去了很多传统价值来源 [12] - 当下是"目标的黄金时代",我们应该积极解决现实问题,同时为人类在AI主导的未来中找到新的定位和意义 [12]