Meta发布Llama 4系列AI模型 - Meta发布Llama 4系列AI模型,包括Llama 4 Scout、Llama 4 Maverick和Llama 4 Behemoth,这些模型在未标记的文本、图像和视频数据上进行训练,具备广泛的视觉理解能力 [1] - 中国人工智能实验室DeepSeek的开源模型成功促使Llama开发加速,Meta成立战情室研究如何降低运行和部署模型的成本 [1] - Scout和Maverick已公开获取,Behemoth仍在训练中,Meta AI助手已在40个国家更新使用Llama 4,多模态功能目前仅限于美国的英语用户 [1] Llama 4的许可证限制 - 欧盟用户和公司被禁止使用或分发Llama 4模型,可能是由于人工智能和数据隐私法律的要求 [2] - 拥有超过7亿月活跃用户的公司需向Meta申请特别许可,Meta自行决定是否授予许可 [2] Llama 4的技术架构 - Llama 4是Meta首批采用专家混合(MoE)架构的模型,训练和查询时更具计算效率 [3] - Maverick拥有4000亿总参数和170亿活跃参数,分布在128个专家中,Scout拥有170亿活跃参数和16个专家,总参数1090亿 [3] Llama 4的性能和应用 - Maverick在通用助手和聊天场景中表现优异,在某些基准测试中超越GPT-4o和Gemini 2.0,但仍不及Gemini 2.5 Pro、Claude 3.7 Sonnet和GPT-4.5 [4] - Scout擅长文档摘要和大型代码库推理,具有1000万标记的上下文窗口,能处理极长文档 [4] - Scout可在单个Nvidia H100 GPU上运行,Maverick需要Nvidia H100 DGX系统或同等设备 [5] Behemoth的性能 - Behemoth拥有2880亿活跃参数和16个专家,总参数近2万亿,在多个评估中超越GPT-4.5、Claude 3.7 Sonnet和Gemini 2.0 Pro,但不包括Gemini 2.5 Pro [5] - Llama 4系列模型不是真正的推理模型,不进行答案事实核查,因此交付答案时间比推理模型更快 [5]
速递|Meta发布Llama 4,首批采用混合专家模型,但非真正的推理模型