3DGS技术趋势与行业应用 - 特斯拉在ICCV的分享中引入3D Gaussian Splatting技术，表明其可能基于前馈式GS算法实现，该技术正在自动驾驶领域焕发新一轮生机[1] - 行业普遍共识是通过前馈式GS重建场景并利用生成技术生成新视角，多家公司正开放HC招聘相关人才[1] - 3DGS技术迭代迅速，已从静态重建3DGS、动态重建4DGS、表面重建2DGS发展到前馈式3DGS[3] 3DGS技术课程内容 - 课程第一章涵盖计算机图形学基础，包括三维空间的隐式与显式表达、渲染管线、光线追踪、辐射场渲染，并介绍COLMAP、Gsplat等开发工具，设置基于3D Real Car训练模型及使用SuperSplat移除杂点的作业[7] - 第二章深入讲解3DGS原理、核心伪代码及动态重建、表面重建、鱼眼重建和光线追踪的经典与最新算法，实战选用英伟达开源的3DGRUT框架[8] - 第三章聚焦自动驾驶仿真重建，解析浙大Street Gaussian、上交OmniRe和浙大Hierarchy UGP三篇工作，实战选用学术界与工业界广泛使用的DriveStudio[9] - 第四章探讨3DGS重要研究方向，包括COLMAP扩展、深度估计及Relighting，并分析其在工业界的应用与学术界的探索价值[10] - 第五章讲解前馈式3DGS的发展历程、算法原理，并解析最新的AnySplat和WorldSplat算法工作[11] 课程结构与安排 - 课程由工业界算法专家Chris主讲，其为QS20硕士，现任某Tier1厂算法专家，从事端到端仿真、多模态大模型、世界模型等前沿算法预研与量产，拥有丰富的三维重建经验[4] - 课程为离线视频教学，辅以VIP群内答疑及三次线上答疑，开课时间为12月1日，预计两个半月结课[14] - 课程章节解锁时间安排如下：第一章12月1日，第二章12月7日，第三章1月7日，第四章1月21日，第五章2月4日[14] 课程目标人群与要求 - 课程面向具备一定计算机图形学基础，了解视觉重建、NeRF、3DGS等技术，拥有概率论、线性代数基础及Python和PyTorch语言能力的学员[16] - 学员需自备GPU，推荐算力在4090及以上[16] - 学员通过学习将掌握3DGS完善的理论知识及相关技术栈、算法开发框架，并能训练开源模型，有助于实习、校招和社招[16]

行业技术发展趋势 - 智能驾驶领域的技术焦虑正在产业链中游厂商间快速传播[1] - 业内认为，端到端等前沿技术的大规模量产起点将在明年[2] - 当前智驾前沿技术发展放缓，量产方案趋同，L2级智能驾驶正走下沉路线[2] - 随着明年L3法规的进一步推进，中游厂商面临迫切的技术升级压力[2] - 近期许多公司的算法负责人正积极寻求了解端到端、世界模型、VLA、3DGS等前沿技术[2] 市场与量产现状 - 中国二十万以上的乘用车年销量约为700万辆[2] - 头部新势力品牌在此价格区间的销量占比不及三分之一[2] - 已实现端到端技术量产的车型占比更低[2] - 端到端技术的成熟被视为开启更大规模量产的关键[2] - 地平线公司宣布将进军10万级市场，表明高阶智驾正迅速向更多国民车型下沉[2] 技术实施与人才需求 - 端到端自动驾驶不仅仅是一个算法，其落地需要完善的云端与车端基础设施、数据闭环、工程部署、闭环测试、模型优化及平台开发等全套能力[2] - 可以预见，市场对中阶智能驾驶相关岗位的需求将更加旺盛[2] - 端到端和VLA（视觉语言动作模型）领域的招聘需求预计将显著增长[3] 行业培训动态 - 为应对技术升级需求，市场出现了针对端到端和VLA技术的实战培训课程[3] - 相关课程由工业界与学术界的专家联合开展，聚焦量产落地[3] - 课程内容涵盖导航信息应用、强化学习优化、Diffusion和自回归模型量产经验、时空联合规划等核心模块[3] - 另有课程专门梳理BEV感知、大语言模型、扩散模型和强化学习在端到端领域的应用，并设计相关实战项目[6] - 针对VLA领域，有课程从VLM（视觉语言模型）解释器到模块化、一体化及推理增强VLA进行全面梳理，并包含从零搭建模型的大作业[11] - 课程讲师及团队背景雄厚，多来自国内顶级主机厂、Tier1供应商及顶尖高校，拥有丰富的算法研发、预研及量产交付经验[5][8][13][14]

3DGS技术趋势与行业应用 - 特斯拉在ICCV的分享中引入了3D Gaussian Splatting技术，基本可以判断其基于前馈式GS算法实现[2] - 学术界近期涌现大量相关工作，例如小米的WorldSplat和清华最新的DGGT，表明3DGS技术正在自动驾驶领域焕发新一轮生机[2] - 行业普遍共识是引入前馈式GS重建场景，再利用生成技术生成新视角，目前不少公司都在开放HC招聘相关人才[2] - 3DGS技术迭代速度极快，已从静态重建3DGS、动态重建4DGS、表面重建2DGS，发展到前馈式3DGS[4] 3DGS技术课程核心内容 - 课程旨在提供一套系统的3DGS学习路线图，从原理到实战细致展开，全面覆盖3DGS技术栈[4] - 课程讲师为QS20硕士，现任某Tier1厂算法专家，从事端到端仿真、多模态大模型、世界模型等前沿算法预研和量产，拥有丰富的三维重建实战经验[5] - 课程采用离线视频教学，配合VIP群内答疑及三次线上答疑，开课时间为12月1日，预计两个半月结课[15] - 课程面向人群需自备GPU，推荐算力在4090及以上，并具备一定的计算机图形学、视觉重建、概率论、线性代数及Python和PyTorch基础[17] 课程大纲详解 - **第一章：3DGS背景知识**：从计算机图形学基础讲起，涵盖三维空间的隐式/显式表达、渲染管线、光线追踪、辐射场渲染等概念及其与3DGS的联系，并介绍COLMAP、Gsplat等开发工具，设置基于3D Real Car训练模型的小作业[8] - **第二章：3DGS原理和算法**：详细梳理3DGS原理及核心伪代码，讲解动态重建、表面重建、鱼眼重建和光线追踪的经典与最新算法，实战选用英伟达开源的3DGRUT框架[9] - **第三章：自动驾驶3DGS**：聚焦自动驾驶仿真重建，讲解浙大Street Gaussian、上交OmniRe和浙大Hierarchy UGP三篇工作，实战选用学术界和工业界广泛使用的DriveStudio框架[10] - **第四章：3DGS重要研究方向**：探讨COLMAP扩展、深度估计及Relighting等研究方向，分析其工业界服务价值与学术探索意义[11] - **第五章：前馈式3DGS**：梳理前馈式3DGS的发展历程与算法原理，讲解最新的AnySplat和WorldSplat算法工作[12] - **第六章：答疑讨论**：通过线上交流形式，组织讨论3DGS岗位需求、行业痛点及开放性问题[13]

3DGS技术发展与应用 - 新视角合成的核心目标是通过图像或视频构建可被计算机处理的3D模型，催生了3D建模、虚拟现实、自动驾驶闭环仿真等大量应用 [2] - 早期算法如SfM、MVS受限颇多，2020年NeRF打破僵局但仍面临计算效率和可编辑性差的问题，2023年3DGS一经问世便迅速火爆 [2] - 3DGS技术迭代速度远超想象，已发展出静态重建3DGS、动态重建4DGS、表面重建2DGS，并进一步催生了feed-forward 3DGS以解决per-scene optimization方法不便使用的问题 [4] - 目前3DGS在学术界和工业界都很受欢迎，但入门需要吃透点云处理、深度学习等理论，并掌握实时渲染、代码实战 [4] 课程核心内容与结构 - 课程包含2DGS/3DGS/4DGS的细致讲解，并扩展当下3DGS重要的几个研究课题，最后讲解feed-forward 3DGS，旨在全面吃透3DGS技术栈 [6] - 课程大纲共六章，从背景知识、原理算法到自动驾驶应用、研究方向及前沿feed-forward方法，最后安排答疑讨论 [8][10][11][12][13][14][15] - 课程进度安排为离线视频教学，自12月1日开课，预计两个半月结课，分章节逐步解锁并配合VIP群内答疑及三次线上答疑 [17] 课程具体章节要点 - **第一章：3DGS背景知识**：从计算机图形学基础讲起，涵盖三维空间的隐式/显式表达、渲染管线、光线追踪、辐射场渲染等技术概念及其与3DGS的联系，并介绍COLMAP、Gsplat等开发工具，设计基于3D Real Car训练模型的小作业 [10] - **第二章：3DGS原理和算法**：详细梳理3DGS原理及核心伪代码，讲解动态重建、表面重建、鱼眼重建和光线追踪的经典与最新算法，实战选用英伟达开源的3DGRUT框架 [11] - **第三章：自动驾驶3DGS**：聚焦自动驾驶仿真重建，讲解浙大Street Gaussian、上交OmniRe和浙大Hierarchy UGP三篇工作，实战选用学术界和工业界使用最多的DriveStudio [12] - **第四章：3DGS重要研究方向**：聚焦COLMAP扩展、深度估计及Relighting等研究方向，并分享这些方向如何服务工业界及学术探索的未来走势 [13] - **第五章：Feed-Forward 3DGS**：梳理feed-forward 3DGS的发展历程和算法原理，讲解最新的AnySplat和WorldSplat算法工作 [14] - **第六章：答疑讨论**：通过线上交流形式，组织讨论3DGS岗位需求、行业痛点及开放性问题 [15] 课程面向人群与收获 - 面向人群需自备GPU（推荐算力在4090及以上），并具备一定的计算机图形学基础、视觉重建/NeRF/3DGS技术了解、概率论与线性代数基础、Python和PyTorch语言基础 [19] - 学后收获包括掌握3DGS完善的理论知识及相关技术栈、掌握3DGS算法开发框架并能训练开源模型、与学术界及工业界同行持续交流，对实习、校招、社招均能受益 [19]

行业技术发展趋势 - 智能驾驶领域的技术焦虑正在产业链中游厂商间快速传播[1] - 业内认为端到端等前沿技术的大规模量产起点将在明年[2] - 当前智能驾驶前沿技术发展放缓，行业量产方案趋于同质化，L2级智能驾驶正走下沉路线[2] - 随着明年L3级法规的进一步推进，中游厂商面临迫切的技术升级压力[2] - 近期许多公司的算法负责人正积极寻求了解端到端、世界模型、VLA、3DGS等前沿技术[2] 市场现状与规模 - 二十万元以上的乘用车年销量约为700万辆[2] - 头部新势力品牌在该价格区间的销量占比不足三分之一[2] - 搭载端到端量产方案的车型占比则更低[2] - 地平线公司宣布将进军10万元级市场，表明高阶智能驾驶正迅速向更多国民车型下沉[2] 技术落地与产业影响 - 端到端技术不仅仅是一个算法，其成熟落地需要完善的云端与车端基础设施、数据闭环、工程部署、闭环测试、模型优化及平台开发等全套体系支持[2] - 端到端技术的成熟被视为更大规模量产的开端[2] - 可以预见，市场对中阶智能驾驶相关岗位的需求将更加旺盛[2] - 近几个月，行业对端到端和VLA技术的学习与入门需求显著增加[3] 行业培训与人才需求 - 为应对技术升级需求，出现了针对端到端和VLA技术的实战培训课程[3] - 相关课程由工业界与学术界的专家联合开展，聚焦量产落地[3] - 课程内容涵盖导航信息应用、强化学习优化、Diffusion和自回归模型量产经验、时空联合规划等关键模块[3] - 另有课程专注于VLA领域，内容从视觉语言模型作为解释器，覆盖到模块化、一体化及主流的推理增强型VLA[11] - 课程要求参与者具备一定的自动驾驶基础、了解Transformer大模型、强化学习、BEV感知等概念，并拥有Python和PyTorch编程能力[10]

3D高斯泼溅技术趋势与课程内容 - 3D高斯泼溅技术正逐步取代神经辐射场技术，因其技术实现相对更容易[2] - 该技术已获得广泛应用，尤其是前馈式3D高斯泼溅技术近期备受关注[3] 课程结构与学习路径 - 课程共分六章，从背景知识到前沿研究方向系统展开[6][7][8][9][10][11] - 课程采用离线视频教学，配合VIP群答疑与三次线上交流，学习周期预计两个半月[13] - 课程内容设计耗时两个月，旨在提供从理论到实战的完整学习路线图[3] 核心技术模块详解 - **第一章**：涵盖计算机图形学基础，包括三维空间表达、渲染管线及光线追踪，并介绍COLMAP、Gsplat等主流开发工具，附带基于3D Real Car的实践作业[6] - **第二章**：深入讲解3D高斯泼溅原理、核心伪代码及动态重建、表面重建等算法，实战部分使用英伟达开源的3DGRUT框架[7] - **第三章**：聚焦自动驾驶仿真重建，解析Street Gaussian、OmniRe及Hierarchy UGP等关键工作，实战选用DriveStudio框架[8] - **第四章**：探讨COLMAP扩展、深度估计及重照明等重要研究方向，并分析其工业应用与学术前景[9] - **第五章**：梳理前馈式3D高斯泼溅的发展历程与原理，讲解AnySplat和WorldSplat等最新算法[10] 讲师背景与课程特色 - 讲师Chris拥有QS前20大学硕士学位，现任某Tier1厂商算法专家，在端到端仿真、多模态大模型及三维重建领域具备丰富经验[3] - 课程提供与学术界及工业界同行持续交流的机会，旨在帮助学员掌握完整技术栈并提升就业竞争力[15] - 课程设有早鸟优惠，名额仅限20名[3][16] 目标学员与先决条件 - 课程面向希望入门或深化3D高斯泼溅技术的学习者，对实习、校招及社招均有助益[15] - 学员需自备GPU，推荐算力在RTX 4090及以上[15] - 学员需具备计算机图形学基础、对视觉重建等相关技术有一定了解，并掌握Python与PyTorch编程[15]

3D高斯泼溅技术趋势与行业动态 - 特斯拉在ICCV的分享引发了行业对3D高斯泼溅技术的广泛关注，其引入被视为一大亮点[2] - 行业普遍共识是引入前馈式3DGS来重建场景并利用生成技术生成新视角，多家公司已开放相关招聘[2] - 3DGS技术迭代速度极快，已从静态重建3DGS发展到动态重建4DGS、表面重建2DGS以及前馈式3DGS[4] 3D高斯泼溅技术课程核心内容 - 课程旨在提供从原理到实战的完整3DGS学习路线图，覆盖点云处理、深度学习理论及实时渲染、代码实战[4] - 课程由工业界算法专家设计，历时两个月，目标是帮助学员全面掌握3DGS技术栈[4] 课程讲师背景 - 讲师Chris拥有QS20高校硕士学位，现任某Tier1厂商算法专家[5] - 其研究方向包括端到端仿真、多模态大模型、世界模型等前沿算法的预研与量产[5] - 曾参与全球顶级主机厂的仿真引擎及工具链开发，具备丰富的三维重建实战经验[5] 课程大纲详解 - **第一章：背景知识**：概述计算机图形学基础，包括三维空间的隐式与显式表达、渲染管线、光线追踪、辐射场渲染，并解释其与3DGS的联系，介绍COLMAP、Gsplat等开发工具，设置基于3D Real Car训练模型及使用SuperSplat移除杂点的作业[8] - **第二章：原理和算法**：详细梳理3DGS原理及核心伪代码，讲解动态重建、表面重建、鱼眼重建和光线追踪的经典与最新算法，实战选用英伟达开源的3DGRUT框架[9] - **第三章：自动驾驶应用**：聚焦自动驾驶仿真重建，重点讲解浙大Street Gaussian、上交OmniRe和浙大Hierarchy UGP三篇工作，实战选用学术界与工业界广泛使用的DriveStudio框架[10] - **第四章：重要研究方向**：探讨COLMAP扩展、深度估计及Relighting等3DGS重要研究方向，分享其在工业界的应用价值与学术探索前景[11] - **第五章：前馈式3DGS**：梳理前馈式3DGS的发展历程与算法原理，讲解最新的AnySplat和WorldSplat算法工作[12] - **第六章：答疑讨论**：通过线上交流形式，组织VIP群内答疑，讨论3DGS岗位需求、行业痛点及开放性问题[13] 课程安排与面向人群 - 课程开课时间为12月1日，预计两个半月结课，采用离线视频教学，辅以VIP群答疑及三次线上答疑[15] - 课程章节按计划解锁：第一章于12月1日，第二章于12月7日，第三章于1月7日，第四章于1月21日，第五章于2月4日[15] - 课程面向具备一定计算机图形学、视觉重建、NeRF、3DGS技术基础，以及概率论、线性代数、Python和PyTorch语言基础的学员[17] - 学员需自备GPU，推荐算力在RTX 4090及以上[17] 学员预期收获 - 掌握3DGS完善的理论知识及相关技术栈[17] - 掌握3DGS算法开发框架，能够训练开源模型[17] - 获得与学术界及工业界同行持续交流的机会[17] - 所学知识对实习、校招、社招均有助益[17]

3DGS技术发展现状与市场需求 - 3DGS技术迭代速度远超想象 已从静态重建3DGS、动态重建4DGS、表面重建2DGS发展到前馈式3DGS[1] - 该领域在学术界和工业界均受到高度重视 但学习者面临缺乏系统学习路径的挑战[1] 课程内容与结构设计 - 课程旨在提供从原理到实战的系统学习路线图 全面覆盖3DGS技术栈[1] - 课程大纲共分六章 从背景知识、核心原理到前沿研究方向及行业应用 循序渐进[3] - 课程采用离线视频教学 配合VIP群答疑及三次线上集中答疑[12] - 课程进度安排明确 自12月1日开课 预计两个半月结课 各章节按计划解锁[12] 核心技术模块详解 - **第一章**：涵盖计算机图形学基础 包括三维空间表达、渲染管线、光线追踪及辐射场渲染 并介绍COLMAP、Gsplat等主流开发工具 附带基于3D Real Car的训练实战作业[5] - **第二章**：深入讲解3DGS原理与核心算法伪代码 覆盖动态重建、表面重建、鱼眼重建及光线追踪的经典与最新算法 实战采用英伟达开源3DGRUT框架[6] - **第三章**：聚焦自动驾驶仿真重建 解析Street Gaussian、OmniRe及Hierarchy UGP三篇核心工作 实战使用学术界与工业界广泛采用的DriveStudio[7] - **第四章**：探讨COLMAP扩展、深度估计及重光照等3DGS重要研究方向 并分析其工业界应用与学术前景[8] - **第五章**：梳理前馈式3DGS的发展历程与算法原理 重点讲解AnySplat和WorldSplat两篇最新算法工作[9] 课程附加价值与面向人群 - 课程包含线上答疑讨论环节 将探讨3DGS岗位需求、行业痛点及开放性问题[10] - 课程面向具备一定计算机图形学、视觉重建、概率论、线性代数及Python/PyTorch基础的学习者[14] - 学习者需自备GPU 推荐算力在4090及以上[14] - 完成课程后 学习者将掌握3DGS完善的理论知识、技术栈及算法开发框架 并能与学界及业界同行持续交流 对实习、校招和社招均有助益[14] 讲师背景与课程推广 - 讲师Chris为QS前20院校硕士 现任某Tier1厂商算法专家 从事端到端仿真、多模态大模型及世界模型等前沿算法预研与量产 拥有丰富的三维重建实战经验[2] - 课程提供早鸟优惠 名额仅限30名[2]

文章核心观点 - 提出首个基于3D高斯溅射技术构建传感器级仿真环境并用于端到端强化学习自动驾驶策略的方法RAD [1] - 该方法采用三阶段训练流程：感知预训练、模仿学习预训练、强化学习与模仿学习混合微调 [3][5] - 与纯模仿学习方法相比碰撞率降低3倍动态碰撞率从0.24降至0.08静态碰撞率从0.03降至0.009 [25][29] 技术方案架构 - 状态空间包含BEV编码器学习实例级鸟瞰图特征地图头学习静态元素代理头学习动态交通参与者图像编码器学习规划特征规划头使用Transformer解码器整合场景表示 [7] - 动作空间横向动作范围-7.5米至7.5米纵向动作范围0米至15米均离散化为61个动作间隔0.25米动作执行周期0.5秒 [8] - 策略优化结合PPO算法与模仿学习通过自行车模型计算车辆位置更新 [11][12] 奖励函数与辅助任务 - 奖励函数按横纵向解耦设计包含动态碰撞静态碰撞位置偏差朝向偏差四项主要奖励 [16][17] - 辅助任务针对减速加速左转右转行为设计利用GAE计算损失权重例如动态碰撞辅助损失鼓励前方碰撞时减速后方碰撞时加速 [20][22] - 整体优化目标包含PPO损失与四项辅助损失加权和 [19][23] 训练流程与数据 - 第一阶段使用2000小时真实驾驶数据预训练感知模块 [28] - 第二阶段使用里程计数据监督训练规划模块 [28] - 第三阶段选取4305个关键场景其中3968个训练337个测试使用3DGS重建环境进行强化学习微调 [10][28] - 训练中强化学习与模仿学习数据比例4:1时效果最优 [28] 实验效果与对比 - 在碰撞率位置偏差率等关键指标上显著优于VADGenADVADv2等基线方法例如碰撞率从VAD的0.335降至0.089 [25][29] - 奖励函数与辅助任务消融实验证实所有组件均有效动态碰撞奖励对降低碰撞率作用显著 [25][27] - 方法在动态环境处理上展现闭环训练优势相比开环模仿学习更能适应分布外场景 [28][29]

课程核心观点 - 3D高斯泼溅技术领域技术迭代速度极快，涵盖静态重建、动态重建、表面重建及前馈模型等多个方向[1] - 行业存在理论与实践结合的学习门槛，缺乏系统化的学习路径[1] - 课程旨在提供从原理到实战的完整3DGS技术栈学习方案，由工业界算法专家讲授[1] 课程大纲与内容 - **第一章：背景知识**：涵盖计算机图形学基础、三维空间表达、渲染管线及3DGS开发工具如COLMAP、Gsplat，并设置基于3D Real Car模型的实战作业[5] - **第二章：原理和算法**：深入讲解3DGS原理、核心伪代码及动态重建、表面重建等前沿算法，实战采用英伟达开源3DGRUT框架[6] - **第三章：自动驾驶应用**：聚焦Street Gaussian、OmniRe、Hierarchy UGP三篇工作，实战使用DriveStudio平台[7] - **第四章：研究方向**：探讨COLMAP扩展、深度估计、Relighting等方向，分析其工业界应用与学术前景[8] - **第五章：前馈3DGS**：梳理前馈模型发展历程与原理，讲解AnySplat和WorldSplat等最新算法[9] - **第六章：答疑交流**：通过线上形式讨论行业岗位需求、技术痛点等开放性问题[10] 课程安排与面向人群 - 课程为期两个半月，采用离线视频教学结合VIP群答疑模式，章节从12月1日起分阶段解锁[12] - 面向具备GPU算力、计算机图形学基础、Python/PyTorch能力的学习者，目标人群覆盖实习、校招、社招阶段[14] - 讲师为QS20硕士，现任Tier1厂商算法专家，拥有三维重建及自动驾驶仿真引擎开发经验[2]