GEN-0模型核心特性 - 专为在高保真度原始物理交互数据上进行多模态训练而构建，参数量可达100亿以上[3] - 原生设计旨在捕捉人类水平的反应和物理常识[4] - 具备核心特性“和谐推理”，使模型能无缝地同时“思考”和“行动”[5] - 架构通过设计使其适用于不同的机器人，已在6自由度、7自由度和16+自由度的半人形机器人上成功测试[6] 超越智能阈值与相变现象 - 在70亿参数规模上观察到“相变”，较小模型出现“固化”现象，而较大模型持续改进[6] - 10亿参数模型在预训练期间难以吸收复杂数据，模型权重无法吸收新信息[11] - 60亿参数模型开始从预训练中受益，显示出强大的多任务能力[11] - 70亿以上参数模型能够内化大规模预训练数据，仅需几千步后训练就能迁移到下游任务[11] - 物理世界中的智能在算力方面可能有更高的激活阈值[14] 机器人模型的Scaling Law - 模型展现出强大的Scaling Law，更多预训练数据和算力可持续提高下游任务性能[6] - 预训练数据规模与下游后训练性能之间存在很强的幂律关系[16] - 在预训练数据集不同子集上训练的模型，在16个不同任务集上进行后训练，更多预训练提高了所有任务的下游模型性能[17] - Scaling Law可用于预测达到特定性能水平所需的预训练数据量[18] 数据规模与基础设施 - 预训练数据集包含超过27万小时的真实世界多样化操作数据[6] - 机器人数据运营每周能提供超过1万小时的新数据，并且仍在加速[23] - 构建了定制硬件、数据加载器和网络基础设施，以支持全球数据收集站点的上行带宽[31] - 使用前沿视频基础模型的数据加载技术，每训练一天就能吸收685年的真实世界操作经验[31] 预训练数据科学 - 数据质量和多样性比纯粹的数量更重要，精心构建的数据混合可带来不同特性的预训练模型[33] - 同时具有低预测误差和低逆KL散度的模型在后训练监督微调时表现更好[33] - 拥有多种规模化数据收集策略，可进行A/B测试以确定对预训练提升最大的数据[33] 行业影响与能力展示 - GEN-0标志着一个新时代的开始，具身基础模型能力可通过真实世界物理交互数据进行可预测扩展[8] - 模型成功完成长周期灵巧任务，如组装相机套件，涉及多个步骤且在单一“和谐推理”流程中完成[8] - 公司正在构建有史以来最大、最多样化的真实世界操作数据集，涵盖家庭、仓库、工厂等多种环境[28]