世界模型概念与发展 - 世界模型是一种神经网络，能够根据智能体过去的观察与动作预测环境的未来状态 [2] - 深度学习三巨头之一Yann LeCun将世界模型视为通向人类智能的核心路径 [3] - 训练有效世界模型面临数据获取成本高、任务复杂度高、算力消耗大等挑战 [4][5][6] DINO-world模型创新 - 采用冻结视觉编码器DINOv2在潜在空间预训练视频世界模型，显著降低计算成本 [9][19] - 模型参数量少于10亿，远低于生成式模型COSMOS的120亿参数规模 [19] - 引入残差预归一化交叉注意力块架构，提升预测效率 [20][21] 技术实现细节 - 使用旋转位置编码(RoPE)处理时空关系，支持可变帧率训练增强泛化能力 [23][24][28] - 通过动作条件微调模块将预测与智能体动作结合，缓解数据不足问题 [30][32][33] - 在6000万条未清洗网络视频数据集上训练，获得跨领域迁移能力 [11] 性能验证结果 - 在VSPW分割预测任务中，0.5秒预测mIoU提升6.3% [13] - 密集预测任务表现优于V-JEPA和COSMOS，Cityscapes mIoU达64.7 [37][38] - 直觉物理测试显示与V-JEPA ViT-H相当，验证大规模预训练价值 [40][41] 应用优势 - 解耦视频预训练与动作微调，减少90%标注数据需求 [12] - 潜在空间建模避免像素级计算，推理资源消耗降低80% [10][12] - 规划任务成功率比从头训练模型提高50%以上 [44]