文章核心观点 - 英伟达于2026年6月发布并开源了其全模态世界模型家族Cosmos 3，该模型旨在通过单一统一架构解决物理AI领域因多模型拼接带来的算力消耗与接口摩擦问题，标志着生成式AI向物理世界应用延伸的系统性尝试[1] 模型架构与设计 - Cosmos 3采用“混合变换器”架构，将自回归推理模块与基于扩散的生成模块融合，并为语言、图像、视频、音频和动作设计了独立的模态编码器，实现多角色无缝切换[2] - 动作被英伟达视为与语言、视觉同等的“核心模态”，模型引入了专用的动作Token编码器，以桥接语言推理与物理控制信号[2][3] - 模型提供三种变体：Edge、Nano和Super，参数规模分别为4B、16B和64B，其中Nano和Super基于Qwen3-VL的预训练权重扩展而来[3] 训练规模与计算资源 - Cosmos3-Nano在1024块英伟达GB200 GPU上训练了31.05万亿tokens，Cosmos3-Super在2048块GB200 GPU上消耗了17.86万亿tokens的训练数据[3] - 训练算力利用率方面，Nano的单卡稳态计算吞吐量为520 TFLOPS，MFU为0.23；Super则为673 TFLOPS，MFU为0.30[3] 基准测试表现 - 在推理能力上，Cosmos3-Super在通用基准综合得分为73.7，落后于Gemini 3.1 Pro，但在机器人、智能基础设施和自动驾驶三个物理AI专项领域全面领先所有参评模型[4] - 在生成能力上，专项微调后的Cosmos3-Super-Text2Image在Artificial Analysis文生图竞技场的开源权重模型中排名第一，UniGenBench综合得分达91.36，超越FLUX.2-dev和Gemini 3 Pro Image[5] - 在视频生成方面，Cosmos3-Super在PAIBench-G的文生视频和图生视频任务中均位居开源模型首位，得分分别为80.0和82.8[5] - 在Physics-IQ基准上，Cosmos3-Super在图生视频模式下以43.8分领先于Sora2，并通过采样策略将得分提升至48.9[5] - 在机器人策略领域，经微调的Cosmos3-Nano-Policy-DROID在RoboLab、RoboArena和MolmoSpaces基准上均排名第一，在RoboLab-120任务中的平均成功率达到39.7%[6][7] 开放生态与合成数据 - 英伟达将Cosmos 3定位为“预训练起点”，其架构设计保持灵活性，可通过微调转化为特定领域的专家模型[8] - 公司同步发布了五套大规模合成数据集，涵盖物理交互、机器人仿真、自动驾驶、数字人及仓储操作等场景，例如SDG-RobotSim包含来自多种机器人的386,270个RGB视频片段[9] - 这些数据集的发布旨在降低研究社区构建真实世界数据采集流程的成本[9] 基础设施与效率 - 数据层面，SILA平台可将大规模数据策展的迭代周期从月量级压缩至周量级[10] - 训练层面，通过混合分片数据并行与上下文并行等技术，在4096块GPU上实现高效扩展，并将Cosmos3-Super的端到端训练时间节省了9%[10] - 推理层面，模型与主流推理引擎集成，支持多种优化技术，使单卡720p文生视频在B200上的延迟约为286秒，4卡配置下可进一步压缩约60%[10]