计算机行业跟踪报告:谷歌再更新Gemini大模型,立足MoE架构性能更加卓越
万联证券·2024-02-21 00:00
报告的核心观点 - 谷歌推出Gemini 1.5 Pro版本,性能水平与Gemini 1.0 Ultra类似[1][2] - Gemini 1.5大模型建立在对稀疏(sparse)混合专家(mixture-of-expert,MoE)架构及Transformer架构领先的研究上,其训练和服务更为高效[2][3] - Gemini 1.5 Pro是一种中等规模的多模态模型,具有超大容量的上下文窗口,能够对大量信息进行复杂推理[3][4][5][6][7][8][9] 报告内容总结 1. Gemini 1.5 Pro发布,立足MoE架构,性能更加优越 1.1 谷歌Gemini系列再更新,Gemini 1.5 Pro性能可媲美Gemini 1.0 Ultra[1][2] 1.2 建立在MoE架构上,能更高效的训练和服务[2][3] 1.3 具备超大容量的上下文窗口,可对大量信息进行复杂推理[3][4][5][6][7][8][9] 2. 投资建议 - Gemini 1.5 Pro的超大容量上下文窗口有助于其应用在更多的领域,MoE架构能让模型更高效的训练和服务,有助于多模型大模型在应用端的加速落地[11] - 建议关注超大容量上下文长度以及MoE架构助力多模态大模型在应用端加速落地带来的投资机遇,同时继续关注多模态大模型对算力的持续需求[11] 3. 风险提示 - 人工智能产业发展不及预期,应用落地不及预期,AI带来的隐私、版权与技术风险[12]