BigBite解析,Tesla FSD就是一个端到端大模型

Tesla FSD 技术架构解析 - 文章核心观点认为,Tesla FSD 是一个端到端的大模型方案,而非数百个小场景模型的简单组合,其技术先进性体现在工程化实现上[4][5][17] 关于FSD模型性质的争论与澄清 - 有观点根据黑客green的发现,质疑FSD由数百个小模型组成,但作者指出这种理解有误[5][8] - 作者明确结论:Tesla FSD 就是一个大模型,使用一个巨大的神经网络完成从图像输入到控制输出的端到端计算[6][7][14] 对模型参数文件的解读 - green 发现 HW3 上的 FSD v12.6 在 A核有1.2GB、189个参数文件,在 B核有2.3GB、110个参数文件,其中61个为共享文件[8] - HW4 上的 v13 模型参数增长至 A核2.3GB,B核7.5GB[8] - B核参数文件数量少但总大小更大,表明后期端到端模型的主要参数集中在B核[10] - 大量的参数文件并非独立的单模型,而可能是一些小任务Head的模型参数,或用于数据采集触发等继承自旧版本的功能[10] - 部分参数文件的命名规则(如FSD_E2E_FACTORY_PART_X)表明它们属于一个大模型的分片,这是大模型分布式部署的常见做法[11] 硬件带宽与模型规模的关系 - HW3 使用 LPDDR4-4266,带宽为68GB/s,理论上支持36Hz输出的模型参数上限约为1.8GB(18亿参数),这与B核2.3GB的参数文件大小基本匹配[12] - HW4 使用 GDDR6 显存,带宽高达384GB/s,若使用FP8参数类型,理论上可在36Hz下支持约100亿参数的端到端模型[12] - HW4 上B核参数文件大小(7.5GB)相比HW3(2.3GB)的增长,与公司此前宣称的参数量增加约3.5倍的说法基本对应[12] 模型扩展性与MOE架构 - 尽管硬件带宽限制了参数扩展空间,但公司通过采用类似混合专家(MOE)的架构,在推理时仅部分激活专家网络,从而节省显存带宽开销,大幅提升模型的等效参数量[13] - 基于HW4的16G显存容量和可能的模型并行策略,未来FSD模型参数继续大幅增加是可能的[13] - 公司可能在特定场景(如厂区自动出场)使用一些本地化参数,这被理解为通过MOE方式增加的额外专家参数,而大部分驾驶场景的参数是共用的[13][15] 对技术先进性的看法 - 作者反驳了将FSD视为“落后”技术的观点,强调工程化创新同样是技术进步的重要体现,并以可回收火箭和发动机阵列为例进行类比[17] - 作者认为,将先进科学发现转化为成熟落地的技术,其本身代表了巨大的科技进步[17]