传媒行业:豆包大模型团队提出全新超稀疏架构,推理成本大幅下降
江海证券·2025-02-14 08:31
报告行业投资评级 - 行业评级为增持(维持) [4] 报告的核心观点 - 2025年2月12日字节跳动豆包大模型团队提出全新稀疏模型架构UltraMem ,解决MoE推理高额访存问题 ,推理速度提升2 - 6倍 ,成本最高降83% ,性能超越MoE [4] - 持续看好ai agent产业发展 ,提示关注汉得信息、鼎捷数字、创业黑马、值得买等 [8][9] 根据相关目录分别进行总结 行业表现 - 近十二个月传媒行业相对收益1个月为18.07% ,3个月为10.58% ,12个月为20.77% ;绝对收益1个月为23.09% ,3个月为5.46% ,12个月为37.26% [2] UltraMem架构优势 - UltraMem在保证模型效果前提下解决推理访存问题 ,相同参数和激活条件下效果超越MoE ,推理速度提升2 - 6倍 ,常见batch size规模下访存成本与同计算量Dense模型相当 [5] 先前解决方案局限性 - LLM能力增长需指数级计算资源 ,先前MoE和PKM方案有局限 ,MoE推理速度慢 ,PKM效果和scaling能力差 [6][7] UltraMem改进方法 - UltraMem参考PKM设计 ,针对其3个缺陷补充 ,通过优化模型结构、value检索方式和隐式扩展稀疏参数 ,实现高效访存、优质value检索 ,降低显存和部署成本 [8]