自动驾驶仿真技术发展 核心技术框架 - 自动驾驶仿真器由场景渲染、场景外推、3D资产重建、Relighting、智能体、天气系统等模块构成，通过闭环模拟实现高真实感[1] - 静态环境建模采用3D Gaussian Splatting与Diffusion Model技术，可还原城市细节至路边奶茶杯级别[1] 关键技术突破 静态环境构建 - OmniRe、Street Gaussians、ReconDreamer、StreetCrafter等方案实现高精度3D场景重建，支持逼真城市建模[1] 动态资产采集 - 通过环视采集系统提取汽车、行人、动物等动态元素，MADrive与3DRealCar技术实现复杂场景对象抠像[2] 视觉渲染优化 - R3D2与DiPIR技术完成动态资产重打光，模拟清晨/黄昏/暴雨等复杂光照条件，确保毛发反光等细节真实[2] 智能体行为模拟 - BehaviorGPT、SMART、DFTO-FW等模型赋予资产自主决策能力，支持变道不打灯、行人拍照等拟人行为[4][8] 环境系统增强 - Weather-Magician与RainyGS实现动态天气模拟，可生成雨雪雾霾等极端条件，测试传感器失效场景[4][9] 行业应用与测试场景 极端场景模拟 - 构建"外卖小哥+快递电瓶车+遛狗大妈+抛洒钉子"的复合挑战场景，验证自动驾驶系统鲁棒性[4] 技术验证方向 - 覆盖传感器失效（雨刮罢工、摄像头模糊）、感知干扰（激光雷达雾霾衰减）等30+技术栈测试需求[6][9] 行业生态发展 技术社区规模 - 形成4000人规模的专业社区，吸引300+企业与科研机构参与，覆盖感知、定位、规划控制全技术链[6] 技术培训体系 - 提供端到端自动驾驶、BEV感知、多传感器融合等30+方向课程，包含CUDA部署、轨迹预测等实战内容[6][8][10]

神经场景表征技术发展 - 神经辐射场(NeRF)方法如Block-NeRF在重建街道场景时无法处理动态车辆，这是自动驾驶环境仿真的关键要素[2] - 近期方法将动态驾驶场景表示为前景移动汽车和静态背景的组合神经表示，利用跟踪车辆姿态建立观察空间与规范空间的映射[2] - 现有方法存在高训练成本和低渲染速度的局限性，例如基于NeRF的方法训练和渲染成本较高[2] Street Gaussians技术创新 - 基于3DGS提出新颖的动态街道场景表示，将场景建模为基于点的背景和前景物体，每个点分配有3D高斯表示几何形状[3] - 背景点使用球面谐波模型表示外观，前景点使用动态球面谐波模型，实现高质量图像和语义图的实时渲染[3] - 在Waymo数据集上实现训练半小时内以135 FPS速度渲染1066×1600分辨率的高质量视图[2] - 采用显式基于点的表示方式，便于组合单独模型，支持场景编辑和前景对象分解[3] 背景模型设计 - 背景模型表示为世界坐标系中的一组点，每个点分配有3D高斯表示几何形状和颜色[8] - 高斯参数包括协方差矩阵(由缩放矩阵和旋转矩阵组成)和位置向量，避免优化过程中的无效值[8] - 每个高斯还分配不透明度值和球面谐波系数表示场景几何和外观，并包含3D语义信息概率[8] 物体模型设计 - 每个移动前景物体表示为可优化跟踪车辆姿态和点云，点分配有3D高斯、语义概率和动态外观模型[11] - 物体高斯属性与背景相似，但位置、旋转和外观模型不同，在物体局部坐标系中定义[11] - 引入4D球谐函数模型，用傅里叶变换系数替代SH系数，将时间信息编码到外观中而不增加存储成本[12] - 4D球谐函数有效解决了移动车辆外观建模问题，避免渲染结果中的明显伪影[16] 初始化方法 - 使用自车捕获的聚合LiDAR点云作为初始化，通过投影到图像平面获取颜色[17] - 对于物体模型，收集3D边界框内的聚合点并转换到局部坐标系，点数不足时随机采样8K点[17] - 背景模型对剩余点云进行体素下采样，过滤不可见点，结合SfM点云弥补LiDAR覆盖不足[17] 3DGS技术发展与应用 - 3DGS技术已衍生出多个子方向，包括3D世界表示、二维图像渲染、时序引入形成4D GS等[23] - 在自动驾驶领域应用广泛，涉及新视角泛化、场景编辑、仿真闭环等关键技术[23] - 工业界和学术界持续关注3DGS技术发展，但仍存在入门和进阶的难点[23] 3DGS全栈课程内容 - 课程涵盖视觉重建算法基础、3DGS技术细节、静态/动态场景重建、自动驾驶场景重建等模块[33][35][37][39][41][43] - 包括Mip-Splatting、Deformable GS、PGSR等前沿算法剖析，以及Street Gaussians项目实战[37][39][41][43] - 提供基于gsplat的驾驶场景重建算法设计大作业，以及升学和求职经验分享[45][47]

3D Gaussian Splatting技术漏洞 - 3D Gaussian Splatting（3DGS）作为新一代高效三维建模技术，其自适应特性存在安全隐患，研究者提出首个专门针对3DGS的攻击方法Poison-Splat，通过输入图像扰动可显著拖慢训练速度、暴涨显存占用甚至导致系统宕机[1] - 3DGS技术已被广泛应用于LumaAI、Spline、Polycam等应用，通过不固定数量的3D高斯点构建逼真三维世界，但其灵活性也带来了安全漏洞[2] - 攻击者只需改动图片细节就能让系统在训练阶段直接崩溃，这一漏洞由新加坡国立大学和昆仑万维的研究者在ICLR 2025论文中首次揭示[2] Poison-Splat攻击机制 - 攻击通过max-min双层优化问题建模，采用三大创新策略：代理模型作为内层近似器、利用图像非光滑性诱导高斯密度增长、约束扰动强度提升隐蔽性[13][15][16][17] - 攻击效果惊人：在无约束攻击下，GPU显存从不到4GB飙升到80GB，训练时间最长可达5倍增长，高斯数量增加至20倍+，渲染速度降至1/10[25] - 即使在隐蔽性约束下（像素扰动不超过16/255），部分场景仍能使显存消耗增高超过8倍，超过常见24GB显卡显存上限[27] 攻击的实际影响 - 攻击对黑盒模型同样有效，如Scaffold-GS，表明其具备跨平台传染性[28][29] - 现实中3D服务商如Polycam、Kiri支持用户自由上传图像，攻击者可伪装成普通用户提交"毒图"，在高峰时段导致系统资源被霸占，引发服务瘫痪（DoS）[31][36] - 简单限制高斯点总量的防御方法会严重影响3D重建服务质量，目前尚无理想防御方案[39][40] 研究意义与行业影响 - 该研究首次系统性地揭示3DGS训练阶段的资源安全漏洞，是首个在三维视觉中将"数据投毒"扩展到"训练资源消耗"维度的研究[37] - 研究提出一套通用且具备可迁移性的攻击框架，推动了3D安全领域发展[37] - 研究结果预示3D重建厂商若无相应防护，系统很可能出现显存不足或训练无效，需引起行业重视[40][41]