核心观点 - 苹果基础模型团队负责人庞若鸣即将加入Meta，Meta开出2亿美金天价邀请其加入[2] - 庞若鸣在离职前完成苹果基础模型AXLearn的研究，该系统具有高度模块化和异构硬件支持特性[4][6] - AXLearn在代码复杂度、训练性能和推理性能上均显著优于主流系统[7][24][33] 技术架构 - AXLearn由组合器和执行框架构成，支持JAX程序生成与分布式硬件调度[16][17][19] - 系统通过严格封装实现模块化，集成RoPE和MoE功能仅需10行代码，其他系统需数百行[14][24] - 支持GPU/TPU/Trainium等异构硬件，自动优化分片策略和XLA编译选项[12][18][27] 性能表现 - 代码复杂度恒定为O(1)，其他系统达O(NM)线性增长，RoPE集成代码量对比：AXLearn(0行) vs Megatron-LM(400行)[24] - 训练性能：Llama2-7B在TPU-v5p-512上MFU达66.2%，超MaxText(61.6%)；70B模型在TPU-v5p-1024上吞吐量360K tokens/s[29] - 推理性能：AXLearn在70B模型上TTFT延迟仅150.5ms，较vLLM(80213.6ms)提速500倍；吞吐量超vLLM 1.6倍[33][34] 应用规模 - 支持超10,000个并行实验，部署于数十种硬件集群，训练模型参数规模达万亿级[35][36] - 已应用于智能助手、多模态生成等十亿级用户产品[37]