8月28日，苹果在arXiv发布新论文，介绍新一代多模态基础模型MobileCLIP2及其背后的多模态强化训练机制，同天在GitHub、Hugging Face上开源了模 型的预训练权重和数据生成代码。 智东西9月1日消息，苹果又公布了大模型研发新进展！ MobileCLIP2专为零样本分类和检索任务设计，推理延迟在3-15毫秒之间，参数规模在50～1.5亿不等。 此前基于Transformer的大型编码器存在较大内存和延迟开销，为在移动设备上部署带来的挑战，基于此，苹果2023年11月发布端侧多模态大模型 MobileCLIP，通过多模态强化训练方法改进模型在端侧的部署效果，MobileCLIP2是其改进多模态强化训练方法后的升级版模型。 论文中提到，与上一代模型相比，MobileCLIP2-B在图像分类基准数据集ImageNet-1k上的零样本准确率提高了2.2%。其模型变体MobileCLIP2-S4在 iPhone 12 Pro Max上测得的零样本准确率可对标参数规模更大的SigLIP-SO400M/14。 此次其改进的多模特训练训练机制采用了改进的教师监督（Teacher Supervision） ...