多模态感知融合技术背景与价值 - 为克服单一传感器在复杂场景下的感知局限，行业通过融合激光雷达、毫米波雷达和摄像头实现优势互补，其中摄像头提供丰富的语义信息和纹理细节，激光雷达生成高精度的三维点云并提供准确的距离和深度信息，毫米波雷达则在恶劣天气下穿透性强且成本相对较低，最终构建出全天候、全场景的可靠感知系统，显著提升自动驾驶鲁棒性和安全性 [1] 多模态感知融合技术演进与前沿 - 多模态感知融合技术正从传统的早期融合、中期融合和晚期融合向更深层次的架构演进，中期融合是目前主流方案，例如将不同传感器特征统一到鸟瞰图视角下处理，解决了数据空间对齐难题 [2] - 基于Transformer的端到端融合是当前最前沿方向，该架构通过跨模态注意力机制学习不同模态数据间的深层关系，实现更高效鲁棒的特征交互，并通过端到端训练减少误差累积，直接输出感知结果以更好地捕捉动态信息 [2] - 该技术已广泛应用于L2-L4级自动驾驶系统，涵盖高精度地图构建、全场景鲁棒感知和自动泊车等领域 [2] 多模态感知融合技术挑战 - 传感器标定是首要难题，需确保不同传感器在空间和时间上的高精度对齐，同时数据同步问题也需解决以应对传感器帧率不一致和时延不同步的情况 [3] - 未来研究核心方向是设计更高效鲁棒的融合算法，以有效利用和处理不同传感器数据的异构性和冗余性 [3] 课程内容与结构 - 课程周期为12周在线小组科研，外加2周论文指导和10周论文维护期，采用小班模式，每期至多8人 [4][7] - 课程内容涵盖经典论文、前沿论文和代码实现，包括创新点、baseline、数据集、选题方法、实验方法、写作方法和投稿建议 [4][10] - 具体课程安排包括课题概览、多模态融合演进、BEV视角下的融合、基于Transformer的端到端融合、激光-视觉深度融合、雷达-视觉-激光三元融合技术等主题，每周课时为1至1.5小时 [22][24] 课程资源与支持 - 课程将提供公开数据集，如ADUULM-360、nuScenes和KITTI等，并根据具体任务提供Baseline代码 [17][18] - 项目采用“2+1”式师资团队，由名校教授、研究员或行业导师领衔授课，并配备科研论文班主任进行全程跟踪监督，提供全方位学习支持 [15][20] - 学员需具备深度学习基础，对多模态融合算法有简单了解，熟悉Python和PyTorch，最好具备4张4090显卡或以上性能的设备 [13] 课程目标与产出 - 课程旨在帮助学员系统掌握多模态融合重点理论，将模型理论与代码实践结合，深化拓展baseline以形成自己的论文，并积累论文写作方法论与投稿建议 [7][12] - 学员将获得对典型论文的分析方法，增强Coding能力，并最终产出一篇论文初稿，优秀学员可获得推荐信 [12][20]