作者 | 瑶大 编辑 | 自动驾驶之心 原文链接： https://zhuanlan.zhihu.com/p/1925984408785127117 点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近15个 方向 学习 路线 >>自动驾驶前沿信息获取 → 自动驾驶之心知识星球 本文只做学术分享，如有侵权，联系删文 paper：https://arxiv.org/pdf/2501.15564 自动驾驶算法两大模块：场景理解、决策。 场景理解：理解周围的环境、预测agents的行为； 做决策：生成安全舒适的轨迹、可定制化多样化（可保守可激进）的驾驶行为。 diffusion planner这篇工作关注 planner 做决策部分，关注闭环场景的性能。 对于自动驾驶规划这一部分有几种方式： rule-based ：如PDM（https://arxiv.org/pdf/2306.07962），选择道路中心线，基于周车的行为预测，利用 IDM得到几种候选轨迹，利用nuPlan的评分标准查看哪条轨迹是最好的。 rule-based的迁移性不好，在某个环境、系统下调好的规则不一定适用于其他场景。大 ...

视频生成模型效率瓶颈 - 扩散模型在高质量视频生成任务中已成为主流，但DiT模型中的注意力机制计算量随视频长度和分辨率提升急剧增加，成为推理效率最大瓶颈 [1] - 视频生成中DiT通常使用3D全局注意力建模时空一致性，计算量随token数量呈平方增长，生成8秒720p视频需要接近一小时 [1] - 在HunyuanVideo等模型中，注意力模块计算时间占比超过80% [1] 现有加速方法局限性 - 现有稀疏注意力方法如Sparse VideoGen和AdaSpa在GPU上实现了一定加速，但受限于稀疏度不足和稀疏模式设计刚性，效果不理想 [2] - 这些方法依赖固定稀疏算子，缺乏对输入内容的动态适应能力，难以实现细粒度、内容感知的稀疏模式调控 [2] DraftAttention创新方案 - 研究团队提出无需训练、即插即用的动态稀疏注意力方法DraftAttention，实现高达2倍的GPU端到端推理加速 [3] - 核心思想是通过低分辨率"草图注意力图"估计token重要性，指导高分辨率注意力计算中的稀疏模式选择 [11] - 具体流程包括草图构建、草图注意力计算、稀疏模式引导、Token重排以适配硬件等步骤 [12][13] - 该方法可直接插入现有视频扩散模型如HunyuanVideo和Wan2.1中，无需额外训练或微调 [13] 理论验证 - 使用平均池化构建的Draft Attention Map与原始高分辨率Attention Map之间的差异在Frobenius范数意义下有界 [15] - 从Draft Attention Map提取的稀疏注意力模式影响可被严格界定在可控范围内 [15] 实验结果 - 在HunyuanVideo和Wan2.1模型上测试，DraftAttention在高稀疏率(75%~90%)下能更好保留视频时空一致性和关键结构 [20] - 在H100和A100 GPU上实现最高1.75倍端到端推理加速，加速效果随视频长度、分辨率和稀疏率提升 [22] - PSNR在高分辨率下提升约+2~+3分，SSIM一致性更强，LPIPS感知相似度提升 [21] 未来方向 - 计划结合量化与蒸馏等技术，继续优化长视频生成效率瓶颈，推动高质量视频生成模型走向移动端、边缘端等资源受限场景 [47]

公司概况 - 李飞飞创办的World Labs专注于开发具备"空间智能"的下一代AI系统，探索AI对三维世界的理解与建模能力[2] - 公司在2024年成立后三个月内完成两轮融资，累计筹集2.3亿美元，估值突破10亿美元成为AI领域独角兽[3] - 投资方包括a16z、英伟达NVentures、AMD Ventures、Intel Capital等科技与风投机构[4] 技术方向 - 核心研究方向为"世界模型"，即AI对现实世界的三维理解能力，需结合视觉、空间感、动作等多维度信息[15][18] - 关键技术包括：NeRF（神经辐射场）实现二维图像到三维重建、高斯平面表示法提升实时渲染效率、扩散模型优化空间数据细节[30][33][38] - 需突破多视角数据融合与物理动态建模，使AI能预测物体运动（如风吹树叶、球体滚动）[41][46] 应用场景 - 游戏行业：AI根据照片或视频自动生成逼真三维场景，替代传统手工建模[51] - 建筑行业：几分钟内生成立体结构并模拟光照效果，大幅提升设计效率[53] - 机器人领域：赋予三维视觉能力，解决二维视觉导致的距离判断与导航问题[54] - 数字孪生：构建工厂/城市的虚拟副本用于灾害模拟与优化[56] - 创意产业：辅助艺术家进行空间化创作，成为"创作者伙伴"[59] 行业挑战 - 数据瓶颈：需大量带深度信息与空间结构的真实场景数据，目前获取成本高[63][64] - 算力限制：NeRF等技术计算资源需求大，难以大规模商业化落地[66] - 泛化能力：模型在陌生场景中易失效，需提升适应性[67] - 需跨学科协作整合硬件、软件、数据与应用生态[69] 团队与行业趋势 - World Labs团队涵盖计算机视觉、图形学、扩散模型、物理仿真与机器人控制等多领域专家[73][75] - AI研究范式从单一学科转向多学科融合，需集体智慧推动系统工程[77] - 空间智能被视为实现通用人工智能（AGI）的第一步，需具备空间感知与动态推理能力[94][95]