以下文章来源于直面AI ，作者涯角 直面AI . 聚焦前沿科技，抢先看到未来。 本文来自微信公众号： 直面AI ，作者：涯角，编辑：胡润，原文标题：《当全世界向云端大模型狂 奔，苹果选择回归设备》，题图来自：AI生成 几天前，苹果在 HuggingFace 上全面开源了视觉语言模型 FastVLM 和 MobileCLIP2，再次在 AI 社 区掀起震动。 这两款模型的直观特征只有一个字：快。FastVLM 在部分任务上的响应速度比同类模型快出 85 倍，并且能在 iPhone 这样的个人设备上流畅运行。但这并非一次孤立的技术秀。 与 MobileCLIP2 等开源模型一道，FastVLM 构成了苹果"B 计划"的核心：端侧 AI 小模型战略。 苹果亮剑小模型 用最通俗的语言解释FastVLM。它是一个"看得懂图、读得懂话"的多模态模型，重点有2个，1个是 名字里的"Fast"——快；另一个则是"VLM"。 正如其名，FastVLM最引人注目的特点就是"快"。这种快并非简单的性能提升，而是数量级的飞 跃，使其能够在手机、电脑等个人设备上实现以往需要云端服务器才能完成的实时任务。 因此，其作为VLM (视觉语言 ...

苹果开源视觉语言模型FastVLM和MobileCLIP2 - 苹果在HuggingFace上全面开源视觉语言模型FastVLM和MobileCLIP2 构成端侧AI小模型战略核心 [1][3] - FastVLM在部分任务响应速度比同类模型LLaVA-OneVision-0.5B快85倍 视觉编码器规模缩小3.4倍 [2][6] - FastVLM-7B版本与Cambrian-1-8B对比时性能更优 生成首个token响应速度快7.9倍 [6] 技术架构与性能表现 - 采用新型混合视觉编码器FastViTHD 结合卷积网络和Transformer 输出更少但更精华的tokens [7][9] - 支持高分辨率图像快速编码 在iPhone等个人设备实现实时任务处理 [5][14] - 提供0.5B/1.5B/7B多个版本 实测单帧画面分析时间仅1-2秒 8帧解读在几秒内完成 [13][17] 端侧AI战略定位 - 苹果通过小模型战略强化隐私保护 数据处理完全在设备端完成 避免云端传输敏感信息 [43][49] - 端侧AI保障用户体验可靠性 摆脱网络依赖 在无信号环境下保持核心智能功能在线 [50] - 利用A系列/M系列芯片边际性能 将计算任务分配至本地设备 形成经济可持续的商业模式 [51][53] 行业背景与战略布局 - 苹果面对AI竞争压力 内部组建AKI团队瞄准ChatGPT 同时推进端侧小矩阵模型开发 [40][41] - 2024年7月发布DCLM-7B开源模型 性能逼近Mistral-7B/Llama3等同级模型 [41] - WWDC 2024宣布Apple Intelligence由多专业小模型组成 处理邮件整理/文稿润色等日常任务 [41] 行业趋势与差异化路径 - 英伟达等企业重视小模型作为Agent未来 初创公司聚焦医疗/金融等垂直领域微调应用 [54] - 苹果端侧战略与其硬件生态/隐私承诺深度绑定 区别于行业主流云端大模型路径 [43][56] - 行业普遍追求参数规模时 苹果通过专才型小模型在细分场景实现更精准性能表现 [50]