文章核心观点 - 基于RoBERTa的掩码语言模型可通过引入动态掩码率改造为文本扩散模型，实现从表示学习到文本生成的转变 [1][13][26] - 实验证明改造后的RoBERTa Diffusion能生成视觉连贯的文本，表明BERT系模型本质上是固定掩码率训练的文本扩散模型 [21][24][26] - 文本扩散模型采用在整个Token画布上迭代重采样的双向注意力机制，与自回归模型的单向生成机制形成对比 [27][28] 技术原理与实验 - 文本扩散通过在前向过程逐步添加<MASK>噪声，在反向过程训练模型迭代去噪，将掩码语言建模目标扩展为生成过程 [11][13] - 实验使用10个扩散步骤，每个训练批次随机采样从1.0到0.1的掩码比例，推理时从240个<MASK>开始逐步减少掩码比例 [17][18] - 在H200显卡上训练30分钟后，模型基于256长度提示词生成了连贯文本，尽管存在数据集格式化导致的异常 [21][22] 行业影响与前景 - 该方法表明生成领域仍存在优化创新空间，结合AR-Diffusion等技术可进一步提升生成质量与推理速度 [25][28] - 谷歌DeepMind已发布实验性Gemini Diffusion模型，业界认为扩散语言模型在速度上有优势且是下一代AI发展方向 [30] - 扩散模型采用双向注意力机制迭代更新整个Token画布，与自回归模型的单向追加机制形成技术路径差异 [28]

文章核心观点 - 同济大学与威斯康星大学麦迪逊分校提出Diffusion²模型 专为解决自动驾驶中“鬼探头”场景下的瞬时行人轨迹预测难题 [1] - 该模型采用两个串联的扩散模型 分别进行反向历史轨迹预测和正向未来轨迹预测 以捕捉轨迹间的因果依赖性 [2][7] - 通过引入双头参数化机制量化预测不确定性 并结合时间自适应噪声调度器动态调整噪声 在ETH/UCY和斯坦福无人机数据集上实现了最先进的预测性能 [5][7][45] 研究背景与问题定义 - 准确的行人轨迹预测对自动驾驶安全性至关重要 尤其在行人突然从盲区出现等瞬时观测场景中 [2] - 传统方法依赖足够长的观测期（如8帧约3.2秒） 但在现实场景中往往只能获得有限观测数据 导致预测性能显著下降 [2] - 在SDD数据集中 仅有瞬时观测的行人出现频率达2.22 s⁻¹ 在ETH/UCY数据集中为1.02 s⁻¹ 凸显了研究该问题的重要性 [2] - 研究目标为仅使用两帧观测数据作为输入 预测行人的未来轨迹及未观测到的历史轨迹 [8] 模型架构与技术创新 - Diffusion²由DDPMpast和DDPMfut两个顺序连接的扩散模型组成 分别负责反向预测历史轨迹和正向预测未来轨迹 [14] - 双头参数化机制通过两个输出头增强标准噪声预测网络 一个头预测噪声 另一个头估计每个坐标的对数方差以量化偶然不确定性 [4][17][18] - 时间自适应噪声调度器根据预测的历史轨迹不确定性水平 在前向扩散过程中动态调节噪声尺度 高不确定性时注入更多噪声以鼓励探索 [5][22][23] - 模型采用对编码器不敏感的设计 可无缝集成多种编码器 实验中采用了具有卓越表征能力的MOE编码器 [15] 实验性能与结果 - 在ETH/UCY数据集上 Diffusion²的平均ADE（平均位移误差）为0.19 FDE（最终位移误差）为0.33 优于所有对比方法 [45] - 在斯坦福无人机数据集上 ADE为8.26 FDE为14.87 同样达到最先进水平 [45] - 推理延迟方面 在NVIDIA RTX A800硬件上 DDPM版本为412毫秒 DDIM版本为75毫秒 优于部分对比方法 [47] - 消融实验证明 双头参数化机制和自适应噪声调度器的引入均能显著提升模型性能 [48] 技术局限性与未来方向 - 基于扩散的框架存在迭代采样过程 导致推理速度较慢 可能阻碍其在实时场景中的部署 [52] - 训练过程涉及优化多个扩散阶段 计算成本较高 [52] - 在交互密集的场景（如UNIV数据集）中 模型的适应能力有所下降 [54] - 未来工作将探索更高效的训练和推理方法 以降低计算资源开销 并提升在复杂交通场景中的鲁棒性 [53][54]

业务拓展计划 - 公司计划在2024年向国内外招募10名业务合伙人 [2] - 合伙人将负责自动驾驶相关课程研发、论文辅导业务开发以及硬件研发 [2] 重点技术方向 - 公司重点关注大模型/多模态大模型、扩散模型、VLA、端到端自动驾驶、具身交互等技术 [3] - 其他关键方向包括联合预测、SLAM、3D目标检测、世界模型、闭环仿真3DGS以及大模型部署与量化感知推理 [3] 人才招聘要求 - 合伙人岗位要求应聘者来自QS200以内高校，并拥有硕士及以上学历 [4] - 拥有顶级学术会议成果的候选人将获得优先考虑 [4] 合伙人待遇与激励 - 合伙人将获得自动驾驶领域的资源共享，包括求职、读博及出国留学推荐等支持 [5] - 公司提供丰厚的现金激励以及创业项目合作与推荐机会 [5]

核心观点 - 提出一个统一框架Epona，能同时生成长时高分辨率视频（512×1024，2分钟）和端到端输出连续轨迹，解决现有方法在长时程预测与实时规划上的局限[5][12] - 首创解耦时空建模架构：GPT风格Transformer处理时间动态性，双Diffusion Transformer分别负责空间渲染（VisDiT）和轨迹生成（TrajDiT）[12][18] - 实现20Hz实时轨迹规划，推理算力降低90%，支持多模态异步生成（3秒轨迹与下一帧图像并行）[12] 方法论 模型架构 - **Multimodal Spatiotemporal Transformer (MST)**：1.3B参数，12层结构，将历史驾驶场景与动作序列编码为隐式表征，压缩率提升16倍[16][26] - **Trajectory Planning Diffusion Transformer (TrajDiT)**：50M参数，采用Dual-Single-Stream DiT结构，独立处理历史隐变量与轨迹数据，支持高斯噪声迭代去噪[18] - **Next-frame Prediction Diffusion Transformer (VisDiT)**：1.2B参数，结构类似TrajDiT但集成action control，通过DCAE解码器生成图像[21] 训练策略 - **Chain-of-Forward Training**：周期性用预测帧替代真值输入，抑制自回归漂移问题，通过速度估算加速去噪过程[24] - **Temporal-aware DCAE Decoder**：在32倍下采样的DCAE中增加时空注意力层，解决视频闪烁问题，微调时仅训练解码器[25] 性能表现 视频生成 - 在FID（6.9 vs 7.5）和FVD（82.8 vs 89.4）指标上优于Vista等基线，支持120秒/600帧生成长度，远超DriveDreamer（4秒/48帧）和GAIA-1（40秒/400帧）[28] 轨迹规划 - 在NC（97.9 vs 97.8）、DAC（95.1 vs 91.9）等6项指标上接近人类水平（100），显著超越UniAD、TransFuser等相机/LiDAR融合方案[34] 技术拓展性 - 框架可延伸至闭环仿真、强化学习、行为因果解释，但当前仅支持单相机输入，未解决多传感器一致性与点云生成问题[36] 行业应用 - 自动驾驶领域首个融合图像生成与轨迹预测的世界模型，参数量达2.5B（MST+VisDiT占95%），训练资源为48张A100 GPU/60万次迭代[26][36]

自动驾驶技术研究进展 - 清华大学与奔驰合作提出GS-Occ3D算法 首次实现纯视觉的大规模3D占用重建 在Waymo数据集上以0.56倒角距离刷新几何精度SOTA 训练效率仅需0.8小时 并在Occ3D-nuScenes数据集实现33.4 IoU 超越激光雷达基线的31.4 [3][5] - GS-Occ3D创新性地开发了纯视觉占用标签生成管道 摆脱对LiDAR标注依赖 支持利用大规模众包数据进行自监督标注 在长轨迹和复杂场景中保持高几何保真度 [5] - 该算法在Waymo数据集验证中 IoU达44.7 F1分数61.8 在nuScenes零样本测试中IoU 33.4 超越基线31.4 显示强大泛化能力 [6] 多模态场景理解技术 - 慕尼黑应用技术大学提出BEV-LLM框架 通过融合LiDAR点云与多视角图像生成3D场景描述 在nuCaption数据集BLEU-4分数达20.28% 超越SOTA模型5% [9][15] - BEV-LLM采用1B参数轻量级模型 创新使用正弦-余弦位置嵌入技术 将特征空间划分为六个视图 在BLEU系列指标上全面超越7B参数级大模型 [15][16] - 研究团队同步发布nuView(205k样本)和GroundView(7.4k样本)两个新数据集 为环境感知和对象定位研究提供新基准 [9][15] 协同感知技术突破 - 清华AIR研究院联合团队提出CoopTrack框架 在V2X-Seq数据集实现39.0% mAP与32.8% AMOTA 传输成本降至V2X-ViT的2.2% [21][26] - 该框架采用可学习实例关联模块和"融合后解码"流程 实现协作与跟踪的无缝集成 在mAP指标上较Early Fusion提升12个百分点 [26][29] 强化学习应用创新 - 德国研究团队提出自适应行为课程框架 通过多智能体强化学习教师动态生成交通行为 使智能体在未信号化交叉口平均速度提升98%至1.63 m/s [33][39] - 该框架采用图网络架构和新型奖励函数 能生成不同难度水平的交通行为 在最高难度场景(λ=-1)下成功率提升至40% [33][39] 视觉行驶区域预测 - ContourDiff模型突破单目视觉多模态驾驶通道预测技术 在CARLA实现0.7767 IoU与0.02障碍物重叠率 支持6种驾驶行为生成 [45][48] - 该技术首次将行驶区域预测定义为图像感知任务 采用自监督样本生成方法 摆脱对密集标注数据的依赖 [48][49]

Diffusion Model - 扩散模型通过高斯分布的均值(原图提供)和方差(噪声系数提供)进行图像生成 [3] - 模型推导中关键变量α_t与噪声ε_t的线性组合服从N(0,1-α_tα_{t-1})的正态分布 [5] - 网络训练目标是拟合去噪过程中两个高斯分布的均值和方差 [7] - 通过KL散度项拟合理论去噪值与网络预测值 [9] - 将不确定的x_0转化为可预测的噪声ε进行迭代 [15] - 最终模型将分布拟合问题转化为噪声预测问题 [17] VAE模型 - 变分自编码器假设潜在空间服从高斯分布 [19] - 普通自编码器不具备生成能力 [21] - 使用神经网络拟合编码器 [23] - 通过重建损失+KL约束损失避免潜在空间退化 [26] - 最小化KL损失等价于最大化ELBO [27] - 训练过程包含重建损失和KL损失的平衡 [30] 强化学习 - 马尔可夫决策过程描述为状态-动作序列(s1,a1,s2,a2...) [35] - 表征学习分为语义表征(趋近脉冲分布)和生成表征(趋近高斯分布) [36] - 时间差分方法利用后续更准确的结果更新前期估计 [40] - 策略梯度方法学习最优状态-动作转换策略 [42] 自动驾驶行业 - 行业社区规模达4000人，涵盖300+企业和科研机构 [42] - 技术栈覆盖30+方向包括感知/定位/规划控制等领域 [42] - 重点技术包含BEV感知、多传感器融合、轨迹预测等 [42] - 专业课程覆盖端到端自动驾驶、大模型应用等前沿方向 [42]

自动驾驶行业现状 - 自动驾驶行业面临人才供需失衡，企业招聘需求旺盛但匹配度高的顶尖人才稀缺 [2] - 行业资本趋于理性，公司更注重商业化落地和盈利而非盲目扩张 [2] - 技术栈虽完备但距离大规模低成本商业化仍有工程鸿沟 [3] - 企业招聘标准提高，对技术适配性和前沿研究能力要求严格 [3][4] 自动驾驶技术社区 - 自动驾驶之心知识星球已成为国内最大技术社区，拥有4000+成员和100+行业专家 [7][9] - 社区覆盖30+技术方向学习路线，包括BEV感知、Occupancy、端到端驾驶等前沿领域 [9][69] - 与主流自动驾驶公司建立内推渠道，提供简历直达服务 [8][10] - 每周活跃度位居国内前20，形成学术与产业界的深度互动 [10][71] 技术研究方向 视觉语言模型(VLM) - 涵盖预训练、迁移学习、知识蒸馏等完整技术链条 [15][16][17] - 主流数据集包括LAION5B(50亿图文)、Conceptual 12M(1200万图文)等 [19] - 应用领域覆盖智能交通车辆检索、自动驾驶场景理解等 [27][28] 世界模型 - 聚焦驾驶场景生成与预测，代表工作包括HERMES、DriveDreamer等 [34][36] - 实现3D场景理解与生成的统一，提升自动驾驶系统泛化能力 [34][36] - 2024年涌现InfinityDrive等突破性模型，解决长序列预测难题 [36] 扩散模型 - 在3D重建、视频生成领域形成完整技术体系 [37][42] - DrivingDiffusion等框架实现时空一致性驾驶场景生成 [43] - 应用于数据增强，如Cityscape-Adverse模拟八种恶劣条件 [43] 端到端自动驾驶 - 形成从模仿学习到强化学习的完整方法论 [49][55] - 主流方案融合多模态输入，如DriveGPT4实现可解释决策 [31][55] - 面临开环评估与真实场景的差距挑战 [49][52] 行业应用与数据集 - 专用数据集覆盖200+任务，包括NuScenes(1000小时)、Waymo Open(1200万帧)等 [25][26] - 语言增强系统实现自然语言导航与车辆控制 [26][29] - 决策控制领域涌现GPT-Driver等大模型驱动方案 [29][30]

行业趋势与人才需求 - 自动驾驶和具身智能公司对人才要求较高，倾向于实力强、背景好的候选人 [3] - 大公司招聘需求集中在端到端、大模型、VLA、强化学习、3DGS等前沿方向 [4] - 机器人初创公司融资活跃，未来几年发展前景可观 [4] - 传统机器人技术仍是产品主线，但具身智能是最前沿方向 [5] 技术方向与就业建议 - 双非学生可转向机器人/具身智能领域，从事SLAM、ROS相关优化和集成工作 [4] - LV融合、无图、BEV感知等技术已应用但人才饱和 [4] - 深圳、杭州的机器人公司提供全面技术培养机会 [5] 前沿技术资源汇总 - 视觉大语言模型、世界模型、扩散模型和端到端自动驾驶是四大技术方向 [9] - 提供10个Awesome和综述资源链接，涵盖智能交通、AIGC、视觉语言模型等领域 [10] - 列出17个VLM预训练数据集，最大规模达12B图像-文本对（LAION5B） [17] - 汇总图像分类、文本检索、行为识别等评估数据集，如ImageNet-1k（1000类）、Kinetics700（700类） [18][20] 自动驾驶数据集与应用 - 覆盖2D/3D目标检测、语义分割、跟踪等任务，如NuScenes（2020年，多模态）、Waymo Open Dataset（2020年） [23] - 语言增强数据集支持视觉-语言导航、车辆检索等应用，如NuScenes-QA（2023年） [24] - 智能交通领域方法聚焦语言引导的车辆检索和视觉问答 [25] - 自动驾驶感知技术包括语言引导的3D检测、开放词汇分割（如OpenScene） [26] 世界模型与扩散模型 - 世界模型研究集中在3D场景理解和生成，如HERMES（2025年）、DriveGPT（2024年） [32][33] - 扩散模型在自动驾驶中用于视频生成（如DriveDreamer）、数据增强（如Cityscape-Adverse） [35][41] - 汇总19篇扩散模型综述，涉及3D视觉、推荐系统等方向 [35][38][39] 端到端自动驾驶 - 开源仓库跟踪E2E最新研究，如opendilab/awesome-end-to-end-autonomous-driving [43][47] - 方法融合多模态感知与规划，如DriveGPT4（2023年）、VADv2（概率规划） [47][50] - 研讨会覆盖CVPR、ICRA等会议，探讨基础模型与规模化应用 [48] - 长尾分布问题通过对抗训练（如CAT）、场景生成（如KING）解决 [53][58]

智能驾驶行业现状 - 2025年智能驾驶行业呈现分化态势，部分从业者转向具身智能领域，但多数仍坚守原赛道 [2] - 头部企业持续高薪招聘人才，应届生薪资可达45k*16薪，超越2-3年经验社招水平 [2] - 行业技术迭代周期明显缩短，2025年技术基调确定为VLA（视觉语言行动）架构 [7] 核心技术趋势 - 大模型赋能端到端2.0技术成为主流方向，涵盖视觉大语言模型基座、扩散模型轨迹预测等技术栈 [7] - 世界模型成为关键技术，涉及3DGS生成技术、闭环仿真等前沿领域 [7] - 视觉语言模型（VLM）在感知任务中应用广泛，包括预训练、迁移学习和知识蒸馏等方法 [19][20][21] 自动驾驶社区生态 - 自动驾驶之心知识星球已成为国内最大专业社区，拥有近4000名成员和100+行业专家 [11] - 社区构建完整技术闭环，涵盖课程体系（9大视频教程）、硬件开发（标定板、机械臂）和实战项目 [3] - 与近200家企业建立合作，包括小米汽车、地平线、英伟达等头部公司，提供内推渠道 [7][66] 行业应用场景 - 智能交通领域应用语言引导车辆检索、视觉问答等技术，提升系统交互能力 [30] - 自动驾驶感知模块融合视觉语言模型，实现开放词汇目标检测和语义分割 [31] - 决策控制系统结合大语言模型，开发可解释的轨迹预测和运动规划方案 [32][33] 数据集发展 - 视觉语言预训练数据集规模显著扩大，LAION5B包含50亿图文对，WebLI达120亿规模 [23] - 自动驾驶专用数据集持续丰富，NuScenes、Waymo Open Dataset支持多任务学习 [28] - 语言增强数据集兴起，如NuScenes-QA支持视觉问答任务，推动人车交互发展 [29] 人才发展体系 - 社区建立30+技术学习路线，覆盖BEV感知、Occupancy等40个方向 [11] - 求职板块包含100问系列（TensorRT部署、BEV感知等）和面经分享，直击企业需求 [66][68] - 直播体系每年规划100场，邀请CVPR/ICCV作者和车企专家分享量产经验 [15][16]

自动驾驶行业现状与趋势 - 2025年自动驾驶行业面临技术迭代加速和人才竞争加剧的局面，部分从业者转向具身智能和机器人领域，但仍有大量人才坚守[2] - 行业薪资水平显示头部企业仍保持高投入，应届生可达45k*16薪，超越2-3年经验社招人员[2] - 技术迭代周期从2024年下半年开始明显缩短，2025年技术基调确定为VLA（视觉语言动作）2.0体系[8] - 前沿技术方向包括：视觉大语言模型基座、扩散模型端到端轨迹预测、3D高斯泼溅生成技术、世界模型等[8] 自动驾驶技术社区与资源 - 自动驾驶之心知识星球已成为国内最大专业社区，拥有近4000名成员和100+行业专家[13][14] - 社区内容覆盖30+技术方向学习路线，包含感知、定位、规划控制等全栈技术栈[14] - 提供独家资源包括：千元级付费课程8折、100+场学术/工业界直播回放、近5000份干货资料[19] - 每周举办1-2场前沿技术直播，2025年重点聚焦VLA、大模型、扩散模型等方向[21][22] 关键技术发展方向 视觉语言模型(VLM) - 形成完整技术体系包括预训练、迁移学习、知识蒸馏等方向，相关论文在CVPR2024等顶会集中爆发[24][25] - 应用领域覆盖智能交通和自动驾驶，包括语言引导车辆检索、视觉问答、异常识别等[37][38] - 基础理论持续创新，2024年出现RLAIF-V、RLHF-V等强化学习对齐方法[25] 端到端自动驾驶 - 形成两大技术路线：开环端到端1.0和闭环端到端2.0（VLA体系）[50] - 关键挑战包括：感知-规划耦合、长尾场景处理、可解释性等[55][62] - 典型方法包括DriveGPT4、DriveMLM等，结合大语言模型提升解释能力[59] 世界模型与扩散模型 - 世界模型成为研究热点，2024-2025年出现HERMES、DrivingWorld等统一框架[43][45] - 扩散模型在3D视觉、视频生成等领域应用广泛，相关综述论文超过20篇[47][48] - 自动驾驶应用包括DriveDreamer系列、MagicDriveDiT等街景生成方法[42][51] 行业人才发展 - 技术岗位需求呈现两极分化：基础算法岗竞争激烈，新兴领域(VLA、世界模型等)人才紧缺[2][97] - 职业发展建议：传统SLAM可转向3D重建，控制背景可拓展规划算法，感知方向需关注端到端技术[99] - 学习路径强调体系化：建议通过社区获取领域知识图谱、面试经验和岗位需求信息[3][14] 企业合作与生态 - 社区与近200家企业建立合作，包括小米、地平线、英伟达等头部公司[7][109] - 提供校招/社招内推渠道，简历可直达企业HR，覆盖算法、工程等多个岗位[10][19] - 资源对接涵盖学术机构（清华、ETH等）和工业界（华为、大疆等）[7][106]