Apple Intelligence基础语言模型

搜索文档
庞若鸣交班陈智峰,苹果发布2025基础模型技术报告
机器之心· 2025-07-18 16:18
Apple Intelligence 技术报告核心内容 - 公司发布2025年Apple Intelligence基础语言模型技术报告,详细介绍新一代模型的技术细节[2][4] - 报告由前苹果AI负责人庞若鸣通过推文介绍,发布后其将工作交接给新任负责人陈智峰和Mengyu Li[3][24][26] - 技术进展遵循"负责任的人工智能"理念,通过内容过滤和私有云计算保障用户隐私[23] 模型架构创新 - 推出两种多语言多模态基础语言模型:3B参数设备端模型和云端PT-MoE模型[6] - PT Transformer架构创新性地采用轨道并行设计,将模型划分为多个小型Transformer模块,同步开销降低87.5%(当D=4时)[8][12] - 云端PT-MoE架构结合轨道并行和专家混合层,实现高效扩展和低延迟[8] - 设备端模型通过KV缓存共享和2位量化感知训练优化苹果自有芯片性能[6] 视觉理解能力 - 引入视觉编码器实现图像理解能力,包含视觉主干和视觉语言适应模块[9] - 服务器模型采用10亿参数ViT-g视觉主干,设备端采用3亿参数ViTDet-L主干[10] - 设备端视觉主干创新性引入注册窗口机制,有效整合局部细节与全局上下文[10] 模型训练与性能 - 模型通过负责任的网络爬取、授权语料库和高质量合成数据集进行训练[7] - 支持多种新增语言,具备图像理解和工具调用能力[7] - 端云协同设计:设备端优化低延迟推理,云端专注复杂任务高精度处理[11] 开发者工具 - 推出Swift核心基础模型框架,集成引导生成、约束式工具调用和LoRA适配器微调功能[21] - 开发者可通过30亿参数设备端模型快速构建生成式AI功能,适用于多种文本任务[22] - 框架针对实用功能优化,不建议用于通用知识问答场景[22] 团队变动 - AI团队负责人变更为陈智峰和Mengyu Li,管理架构将更加分散[24][26] - 新任负责人陈智峰具有谷歌TensorFlow、Gemini等重要项目经验[27]