传统的融合方式主要分为三种：早期融合直接在输入端拼接原始数据，但计算量巨大；中期融合则是在传感器数 据经过初步特征提取后，将不同模态的特征向量进行融合，这是目前的主流方案，例如将所有传感器特征统一到 BEV 视角下进行处理，这解决了不同传感器数据空间对齐的难题，并与下游任务无缝连接；后融合则是每个传 感器独立完成感知，最后在决策层面进行结果融合，可解释性强但难以解决信息冲突。 在这些基础上， 基于Transformer的端到端融合是当前最前沿的方向 。这种架构借鉴了自然语言处理和计算机 视觉领域的成功经验，通过其跨模态注意力机制，能够学习不同模态数据之间的深层关系，实现更高效、更鲁棒 的特征交互。这种端到端的训练方式减少了中间模块的误差累积，能够直接从原始传感器数据输出感知结果，如 3D目标框，从而更好地捕捉动态信息并提升整体性能。 我们了解到， 不少在读的研究生和博士生都在主攻多模态感知融合方向 ，前面我们推出了端到端和VLA方向的 1V6小班课，很多同学也在咨询我们多传感器融合方向，急需大佬辅导...... 模态感知融 科研2 7 课题背景 为克服单一传感器局限,多模态融合技术通过结合 激光雷达、毫米波雷 ...

随着自动驾驶、机器人导航和智能监控等领域的快速发展，单一传感器（如摄像头、激光雷达或毫米波雷达）的感知能力已难 以满足复杂场景的需求。 为了克服这一瓶颈，研究者们开始将激光雷达、毫米波雷达和摄像头等多种传感器的数据进行融合，构建一个更全面、更鲁棒 的环境感知系统。这种融合的核心思想是优势互补。摄像头提供丰富的语义信息和纹理细节，对车道线、交通标志等识别至关 重要；激光雷达则生成高精度的三维点云，提供准确的距离和深度信息，尤其在夜间或光线不足的环境下表现优异；而毫米波 雷达在恶劣天气（如雨、雾、雪）下穿透性强，能稳定探测物体的速度和距离，且成本相对较低。通过融合这些传感器，系统 可以实现全天候、全场景下的可靠感知，显著提高自动驾驶的鲁棒性和安全性。 当前的多模态感知融合技术正在从传统的融合方式，向更深层次的端到端融合和基于Transformer的架构演进。 传统的融合方式主要分为三种：早期融合直接在输入端拼接原始数据，但计算量巨大；中期融合则是在传感器数据经过初步特 征提取后，将不同模态的特征向量进行融合，这是目前的主流方案，例如将所有传感器特征统一到 鸟瞰图（BEV） 视角下进 行处理，这解决了不同传感器数据 ...

多模态感知融合技术背景 - 单一传感器如摄像头、激光雷达或毫米波雷达的感知能力难以满足复杂场景需求 自动驾驶、机器人导航和智能监控等领域快速发展推动多传感器融合技术应用[1] - 多传感器融合通过优势互补构建更全面鲁棒的环境感知系统 摄像头提供丰富语义信息和纹理细节 激光雷达生成高精度三维点云提供准确距离和深度信息 毫米波雷达在恶劣天气下穿透性强能稳定探测物体速度和距离且成本相对较低[1] - 传感器融合实现全天候全场景可靠感知 显著提高自动驾驶鲁棒性和安全性[1] 多模态感知融合技术演进 - 技术从传统融合方式向端到端融合和基于Transformer架构演进 传统融合分为早期融合（输入端拼接原始数据计算量巨大）、中期融合（传感器数据初步特征提取后融合不同模态特征向量目前主流方案）和晚期融合（传感器独立感知决策层面结果融合可解释性强但难以解决信息冲突）[2] - 基于Transformer的端到端融合是当前最前沿方向 通过跨模态注意力机制学习不同模态数据深层关系 实现高效鲁棒的特征交互 端到端训练减少中间模块误差累积 直接从原始传感器数据输出感知结果如三维目标框[2] - 技术已广泛应用于L2-L4级自动驾驶系统 包括高精度地图构建、全场景鲁棒感知和自动泊车等领域[2] 技术挑战 - 传感器标定是首要难题 需确保不同传感器在空间和时间上的高精度对齐[3] - 数据同步问题需解决传感器帧率不一致和时延不同步情况[3] - 核心研究方向是设计更高效鲁棒的融合算法 有效利用处理不同传感器数据的异构性和冗余性[3] 课程体系与安排 - 课程周期为12周在线小组科研加2周论文指导再加10周论文维护期 共24周[4][14] - 课程内容涵盖经典论文、前沿论文和代码实现 包括创新点、baseline、数据集以及选题方法、实验方法、写作方法、投稿建议[4][11] - 参考时间安排共14周 每周课时1-1.5小时 从课题概览到未来发展方向全面覆盖[21][23] 学习资源与要求 - 提供多模态数据集包括ADUULM-360、nuScenes、KITTI等公开数据集[18][19] - 提供Baseline代码取决于具体应用 包括多模态3D目标检测、BEV视角下Transformer融合以及基于点云图像的多模态融合等开源项目[19][21] - 必读论文包括Multi-View 3D Object Detection for Autonomous Driving、PointPillars、BEVFormer等5篇核心论文[22] 硬件与基础要求 - 最好具备4张4090显卡或以上设备性能的机器 最低不少于2张4090显卡设备 可考虑租赁云服务器[15] - 需具备深度学习基础 对多模态融合算法有简单了解 熟悉掌握Python语法以及PyTorch使用 最好具备Linux系统下开发调试能力[15] - 需完成在线1v1面试 学习Python编程语言入门和深度学习与PyTorch框架等先修课程[15] 课程产出与价值 - 学员将产出论文初稿、项目结业证书 并根据优秀程度获得推荐信[20] - 课程交付价值包括科研流程、写作方法和论文初稿[31] - 提供科研论文idea、数据集和Baseline代码三大核心资源[33]

多模态感知融合技术背景与核心优势 - 单一传感器如摄像头、激光雷达或毫米波雷达的感知能力已难以满足自动驾驶、机器人导航和智能监控等复杂场景的需求[1] - 多模态传感器融合通过结合激光雷达、毫米波雷达和摄像头的优势实现优势互补：摄像头提供丰富语义信息和纹理细节 激光雷达生成高精度三维点云并提供准确距离和深度信息 毫米波雷达在恶劣天气下穿透性强且能稳定探测物体速度和距离[1] - 传感器融合系统可实现全天候全场景下的可靠感知 显著提高自动驾驶鲁棒性和安全性[1] 多模态感知融合技术演进路径 - 传统融合方式分为三种：早期融合在输入端拼接原始数据但计算量巨大 中期融合将不同模态特征向量融合并统一到鸟瞰图视角 晚期融合在决策层面进行结果融合但难以解决信息冲突[2] - 基于Transformer的端到端融合成为最前沿方向 通过跨模态注意力机制学习不同模态数据间深层关系 实现更高效鲁棒的特征交互[2] - 端到端训练方式减少中间模块误差累积 直接从原始传感器数据输出感知结果如三维目标框 更好捕捉动态信息并提升整体性能[2] 多模态感知融合应用与挑战 - 技术已广泛应用于L2-L4级自动驾驶系统 包括高精度地图构建、全场景鲁棒感知和自动泊车等领域[2] - 面临三大核心挑战：传感器标定需确保不同传感器空间和时间上的高精度对齐 数据同步需解决传感器帧率不一致和时延不同步 融合算法需更高效处理不同传感器数据的异构性和冗余性[3] 课程体系结构与核心内容 - 课程周期为12周在线小组科研加2周论文指导再加10周论文维护期 总时长24周[4][14] - 课程内容覆盖经典论文与前沿论文分析 代码实现与创新点研究 baseline与数据集应用 选题方法、实验方法、写作方法及投稿建议[4][11] - 采用"2+1"式师资配置与全学习周期服务 配备科学制定的学员守则与表现评估体系[18][21] 技术实践资源与要求 - 提供多模态数据集包括ADUULM-360、nuScenes和KITTI等公开数据集[19][20] - 提供Baseline代码仓库覆盖多模态3D目标检测、BEV视角Transformer融合及点云图像融合等多个方向[23] - 硬件要求最好具备4张4090显卡或以上设备性能 最低不少于2张4090显卡 也可考虑租赁云服务器[15] 学员收获与产出目标 - 学员将获得经典及前沿论文分析方法 理解重点算法与原理 清晰不同算法优劣势[14] - 课程将提供研究idea 每位同学都能获得导师准备的具体idea方向[14] - 最终产出包括论文初稿、项目结业证书 并根据学生优秀程度提供推荐信[21] 课程安排与学习要求 - 详细课程安排包含14周专项主题：从课题概览与科研路径介绍 到BEV视角多模态融合 再到基于Transformer的端到端融合 最后涵盖论文写作方法与投稿意见[23][25] - 学习要求包括具备深度学习基础 熟悉Python语法和PyTorch使用 最好具备Linux系统开发调试能力[15] - 必须完成在线1v1面试 每周上课前按时阅读资料并完成作业 课后自学时长至少1-2小时[21]

点击下方 卡片 ，关注" 自动驾驶之心 "公众号 戳我-> 领取 自动驾驶近30个 方向 学习 路线 随着自动驾驶、机器人导航和智能监控等领域的快速发展，单一传感器（如摄像头、激光雷达或毫米波雷达）的感 知能力已难以满足复杂场景的需求。 为了克服这一瓶颈，研究者们开始将激光雷达、毫米波雷达和摄像头等多种传感器的数据进行融合，构建一个更全 面、更鲁棒的环境感知系统。这种融合的核心思想是优势互补。摄像头提供丰富的语义信息和纹理细节，对车道 线、交通标志等识别至关重要；激光雷达则生成高精度的三维点云，提供准确的距离和深度信息，尤其在夜间或光 线不足的环境下表现优异；而毫米波雷达在恶劣天气（如雨、雾、雪）下穿透性强，能稳定探测物体的速度和距 离，且成本相对较低。通过融合这些传感器，系统可以实现全天候、全场景下的可靠感知，显著提高自动驾驶的鲁 棒性和安全性。 当前的多模态感知融合技术正在从传统的融合方式，向更深层次的端到端融合和基于Transformer的架构演进。 传统的融合方式主要分为三种：早期融合直接在输入端拼接原始数据，但计算量巨大；中期融合则是在传感器数据 经过初步特征提取后，将不同模态的特征向量进行融合，这 ...

纪要涉及的公司和行业 - 公司：意法半导体（ST Microelectronics）、恩智浦（NXP）、博世（Bosch）、森萨塔（Sensata）、惠普（HP）、电装（DENSO）、维宁尔（VEONIER）等 - 行业：半导体、传感器、汽车、工业、消费电子 纪要提到的核心观点和论据 1. **收购交易** - **交易内容**：意法半导体宣布以最高9.5亿美元现金收购恩智浦的MEMS传感器业务，其中9亿美元为 upfront 支付，5000万美元取决于技术里程碑的实现，预计2026年上半年完成交易 [6]。 - **战略意义**：该交易对意法半导体具有战略意义，双方MEMS业务在技术和产品组合上高度互补，将使产品在汽车、工业和消费终端市场更加平衡；增强意法半导体在快速增长的汽车MEMS市场的影响力，解锁新机会；符合意法半导体在资本市场日提出的智能传感器战略和IDM模式 [9][11]。 - **财务影响**：被收购业务对意法半导体2027 - 2028年的毛利率和运营利润率目标模型已经具有增值作用，预计从交易完成起对每股收益也有增值作用 [10]。 2. **意法半导体现有业务** - **市场地位**：意法半导体在传感应用半导体领域是全球领导者，拥有20多年历史，最初专注于个人电子，现在其传感器技术已扩展到汽车和工业应用 [7]。 - **产品组合**：多数STM M传感器收入与消费应用相关，产品组合包括用于智能手机、个人设备、计算机、汽车、工业、医疗保健和物联网等广泛应用的传感器和执行器；在安卓设备的运动和压力MEMS、汽车导航MEMS以及打印执行器方面处于领先地位 [8]。 - **发展目标**：通过技术融合和嵌入式人工智能使传感器更智能，包括投资研发以开发先进的传感和驱动技术、在硅或封装层面开发传感器融合以降低客户成本、嵌入处理和边缘人工智能以实现本地化智能 [8]。 3. **被收购业务情况** - **产品范围**：主要针对汽车安全传感器，包括被动安全（安全气囊）、主动车辆动力学（电子稳定控制、侧翻检测）、监测传感器（压力监测系统、发动机管理）、便利性（钥匙扣、车辆防盗和安全）等；还包括工业应用的压力传感器和加速度计 [10]。 - **营收情况**：恩智浦的MEMS业务在2024财年产生了约3亿美元的收入 [10]。 - **市场前景**：MEMS传感器和执行器整体市场预计在2024 - 2028年以超过4%的复合年增长率增长，被收购业务有望受益于快速增长的汽车MEMS市场、强大的客户关系和创新路线图，实现更快增长 [11]。 4. **竞争情况** - **主要竞争对手**：在汽车领域，博世是意法半导体最大的竞争对手，博世拥有庞大的外部市场和大量的自有市场；此外，还有森萨塔、惠普等竞争对手 [33][34]。 - **收购优势**：收购恩智浦的MEMS业务将使意法半导体成为仅次于博世的市场第二，增强研发团队，缩小与博世的差距，提高市场竞争力 [33][34]。 其他重要但是可能被忽略的内容 1. **生产协同**：意法半导体目前为恩智浦的MEMS业务提供机械部分的代工服务，两家公司产品重叠极小，收购后大部分前端业务将来自意法半导体，ASIC部分仍由外部代工厂提供 [15][16][18]。 2. **财务细节**：意法半导体此次收购预计全部以现金支付，资金来源于现有流动性；收购对公司的毛利率和EBIT利润率有增值作用，高于公司在资本市场日模型中提到的45%毛利率 [6][24]。 3. **库存情况**：尽管汽车行业存在库存调整，但意法半导体的MEMS业务在去年第四季度实现了两位数的同比增长，恩智浦的MEMS业务库存情况预计也较为健康 [42]。 4. **客户重叠**：意法半导体和恩智浦服务的一级客户有一定重合，但产品组合不同，基本不存在重叠问题；意法半导体在汽车领域的中国市场更有优势，可借此机会扩大恩智浦产品组合在该市场的销售 [63][64][65]。

财务数据和关键指标变化 - 第一季度收入为60万美元，主要来自工业领域销售 [23] - 2025年第一季度研发和销售、一般及行政费用为1410万美元，包含190万美元基于股票的薪酬费用和140万美元折旧及摊销非现金费用，剔除后费用为1100万美元，同比降低45%，预计当前水平将持续到年底 [24] - 第四季度资本支出为10万美元，符合预期 [25] - 第一季度末现金及现金等价物为6900万美元，公司在ATM工具下有1.134亿美元可用资金，可转换票据工具下约有3000万美元未提取资金，可转换票据约有3300万美元未偿还，按每股1.59 - 1.6美元的固定价格转换 [25][26] - 基于对当前客户的投资和目标市场机会，公司预计未来12 - 18个月收入在3000 - 5000万美元之间 [28] 各条业务线数据和关键指标变化 汽车业务 - 公司持续参与七个汽车原始设备制造商（OEM）的报价请求（RFQ），但汽车行业面临复杂局面，实际和潜在的新关税影响了OEM的决策，一些OEM暂停年度指导或量化关税相关成本影响，LiDAR的采用优先级降低，OEM更关注组件成本和子系统来源，正在重新制定现有和即将到来的RFQ，寻找更便宜且符合性能标准的LiDAR解决方案 [19][20] 工业业务 - 公司团队专注于与工业客户深入合作，包括现场支持客户评估和将解决方案集成到其车队中，对该领域近期需求有信心，特别是在自动导引车（AGV）和自主移动机器人（AMR）领域，公司凭借现有Movia技术和生产能力，有望在该领域实现增长 [21] 国防业务 - 公司在过去几个月成立了国防咨询委员会，以执行国防业务战略，寻找全球产品新机会，并通过近期合作实现现有产品组合的货币化，美国政府将国防新技术发展作为优先事项，强调通过公私合作实现快速创新，公司将在下周的投资者日提供更多相关更新 [22] 各个市场数据和关键指标变化 - 汽车市场受宏观经济和关税影响，LiDAR采用优先级降低，OEM关注成本和供应链问题，先进驾驶辅助系统（ADAS）推出延迟，目前LiDAR集成量极低 [7][19][20] - 工业市场中AGV和AMR公司对自主性和人工智能的接受速度较快，公司的工业传感器和软件集成解决方案受到潜在合作伙伴的评估，有望实现商业合作 [12][21] - 国防市场因政府对新技术发展的重视，为公司提供了机会，公司计划将LiDAR产品与雷达和其他第三方技术融合，通过与现有军事承包商合作提供全传感器智能解决方案，预计该领域的系统和产品原型将在6 - 9个月内推出 [14][22] 公司战略和发展方向和行业竞争 公司战略和发展方向 - 汽车业务方面，公司将继续参与RFQ，寻找与OEM的定制开发机会，虽短期内预计不会获得有实质生产收入的重大项目，但认为该领域仍是最大的潜在机会，公司拥有Movia Maven和Movia S滑块产品，可满足所有OEM的咨询需求 [7][11][12] - 工业业务方面，公司对其充满信心，生产中的Movia传感器与车载感知软件集成的解决方案，已交付给多个潜在合作伙伴进行评估，预计这些合作将带来商业成功，与ZF的合作使公司在成本上具有竞争力，且不受中国关税影响 [12][13] - 国防业务方面，公司通过成立国防咨询委员会，拓展在军事领域的业务，计划将现有产品应用于无人机、陆地车辆等项目，并与军事承包商合作，预计在该领域实现增长 [14][22] 行业竞争 - 公司竞争对手通过特殊目的收购公司（de - SPAC）上市，共筹集超过10亿美元资金，而公司资本运作较为谨慎，这使得公司在与OEM合作时，因资产负债表不够强大而面临挑战，但竞争对手在赢得早期合作后表现不佳 [10] - 在工业领域，公司面临Ouster和SICK等竞争对手，公司计划通过销售集成软件的传感器和实现规模经济来竞争，其Movia L传感器已投入生产，Movia S传感器预计在今年第三季度公布，公司认为自身的固态传感器比竞争对手的机电传感器更可靠，且具有更低的硬件成本和更好的扩展性 [78][79][85] 管理层对经营环境和未来前景的评论 - 管理层认为汽车行业面临复杂的宏观经济和关税环境，短期内难以获得重大项目收入，但长期来看，该领域仍具有巨大潜力，公司将继续努力推进与OEM的合作 [7][11] - 工业领域进展顺利，公司对该领域的商业合作前景感到乐观，预计现有合作将带来商业成功 [12][13] - 国防领域是公司新的增长点，政府对国防新技术的重视为公司提供了机会，公司有信心在该领域取得进展 [14][22] - 公司通过第一季度的融资和精简现金消耗，将现金储备延长至2026年，在市场中处于有利地位，拥有多元化的近期收入机会，扩大的潜在市场、精简的成本结构和近期融资巩固了公司的地位 [22][23] 其他重要信息 - 公司下周将在雷德蒙德举办投资者日活动，投资者将有机会与公司的各种技术产品互动，观看演示，并乘坐演示车辆，活动旨在替代年度消费电子展（CS）的参与，为投资者提供更直接了解公司的机会 [15] - 公司在电话会议中提供的部分财务指标为非美国通用会计准则（non - GAAP）指标，相关指标与最直接可比的美国通用会计准则（GAAP）指标的调节信息，以及电话会议中呈现的所有财务数据，可在公司新闻稿和提交给美国证券交易委员会（SEC）的8 - K表格中找到，这些文件可在公司网站的SEC文件板块查看 [5] 总结问答环节所有的提问和回答 问题1: Q1收入是否为首次商业销售 - 公司表示并非首次，第四季度也有商业销售，本季度是持续的商业销售努力 [32][33] 问题2: 未来12 - 18个月3000 - 5000万美元收入的驱动因素和控制因素 - 主要驱动因素是工业领域的自动化活动和ADAS部署，最终客户在其内部环境中的部署和推广是收入增长的主要控制因素，这是由客户降低成本和提高生产力的需求驱动的 [36][37] 问题3: 公司合作的潜在客户数量 - 公司表示合作的潜在独特实体数量多于1个且少于10个 [42] 问题4: 军事业务的机会范围和合作的军事承包商数量 - 公司产品主要是传感器和软件，可进行传感器融合，并非军事领域的主承包商，而是作为技术合作伙伴参与项目，目前关注的军事机会包括无人机等，合作的军事承包商有多个，且多为较新的技术公司，收入规模有时小于10亿美元 [44][48][49] 问题5: 产能扩张与收入目标的关系 - 若公司最终扩张产能，可能会达到或超过3000 - 5000万美元收入范围的上限 [54] 问题6: 国防业务是否考虑战略联盟和股权融资，以及国防业务是否包含在3000 - 5000万美元收入预期中 - 公司目前主要专注于商业协议，3000 - 5000万美元收入预期主要来自工业领域，国防业务仍处于早期阶段，公司将在未来活动中根据项目情况更新相关收入数据 [57][59][60] 问题7: 公司在国防业务中的合同形式 - 国防业务合同预计主要以工程设计和测试（ED和T）收入的形式进行，类似于汽车行业的非经常性工程（NRE）收入，公司将根据项目情况更新相关收入数据 [62] 问题8: 公司拥有最佳传感器和最低价格，为何未赢得工业RFQ - 工业领域不仅关注传感器硬件，更注重软件与客户软件的集成和验证，评估过程耗时较长，公司需要寻找能实现盈利的商业机会，避免为了获取订单而过度消耗资金，目前公司正在接近与合适客户达成合作的阶段 [67][68][70] 问题9: 公司如何在工业领域与Ouster和SICK竞争 - 公司计划通过销售集成软件的传感器和实现规模经济来竞争，其固态传感器具有更高的可靠性和更低的硬件成本，且能提供感知、定位和驾驶员辅助功能，可作为车辆的即插即用解决方案，具有更好的扩展性和市场竞争力 [78][79][85] 问题10: 2025年各市场的里程碑 - 工业市场的里程碑是签订商业协议，寻找能充分利用公司产能的锚定客户，Movia S传感器预计在今年公布，明年开始试点计划；国防市场主要是作为分包商与主承包商进行定制开发合作，参与小型合同项目；汽车市场可能会有开发协议或早期高级原型项目，但短期内预计不会有显著收入，可能会有小型合作机会的公告 [89][91][93] 问题11: 七个汽车RFQ的进展和时间线 - 目标是在2028年车型年实施解决方案，目前处于积极讨论阶段，若OEM在未来三个月内确定技术解决方案，仍有可能实现该目标 [99][100] 问题12: 公司在国防业务中成功的原因 - 国防市场有多个应用领域，如无人机、无人驾驶车辆、增强现实（AR）头盔和地形测绘等，公司可将现有技术应用于这些领域，且公司在国防领域有过成功经验，与汽车和工业市场情况不同，公司对国防业务更有信心 [104][105][116] 问题13: 公司是LiDAR公司还是自主系统公司，以及这种转变对获取新机会的影响 - 在汽车市场，公司目前被视为提供清洁点云和软件支持的LiDAR公司；在工业和国防市场，公司已逐渐转变为提供集成软件解决方案的公司，通过整合LiDAR、雷达和其他技术，为客户提供更高价值的产品和服务，这种转变使公司在各市场的竞争力得到提升 [118][119][121] 问题14: 公司为何请求增加股份授权 - 公司需要更多股份作为与合作伙伴合作的工具，以增强客户对公司长期生存能力和执行合同能力的信心，此外，增加股份授权在竞争国防合同和大型合同时具有一定的“光学效应”，公司近期的交易活跃度、大额投资承诺、优秀人才加入以及投资者日活动的高关注度，都表明公司目前具有良好的发展势头，增加股份授权有助于公司在市场竞争中取得优势 [125][126][130] 问题15: 投资者日的预期内容 - 投资者日将展示公司的技术产品和未来规划，包括产品的部署方向和管理方式，还将设置问答环节，让投资者与公司进行更直接的对话，以增强对公司的了解和信心 [134][135][136]