编辑：Panda 机器之心报道 用 iPhone 本地跑大模型已经不是新鲜事了，但能不能在 iPhone 上微调模型呢？ 最近，苹果亲自上场，用一篇论文展示了其可行性。在这篇论文中，苹果提出了一种 内存高效型反向传播（MeBP） 。该方法可在内存使用量和计算时间之间提 供比零阶优化（ZO/zeroth-order optimization）更好的权衡，同时还比 ZO 基线收敛更快、性能更优。他们还在 iPhone 15 Pro Max 上验证了 MeBP 的有效性。 这个苹果团队（宋丛峥与 Xinyu Tang）也在论文中表示会发布一个 MeBP 实现，但其公开的链接目前还空无一码。 论文标题：Memory-Efficient Backpropagation for Fine-Tuning LLMs on Resource-Constrained Mobile Devices 内存高效型反向传播（MeBP） 在这篇论文中，苹果团队的研究重点是使用 LoRA 微调 LLM。因此，主要的内存瓶颈在于模型参数和中间激活值。该团队的目标是将微调的内存使用量保持在现 代移动设备可接受的范围内，例如 PocketLLM ...