文章核心观点 - 北京大学王选计算机研究所团队提出了一种名为KnowVal的新型自动驾驶系统，该系统通过引入知识检索与价值引导机制，旨在解决高阶自动驾驶所需的法律、道德及世界理解能力，并在基准测试中取得了最先进的性能表现[1][3] 系统框架与核心范式 - KnowVal系统将传统的视觉-语言-动作范式升级为**开放三维感知-知识检索范式**，通过感知与检索的相互引导实现视觉-语言推理[4][5] - 系统框架包含**检索引导的开放世界感知**与**感知引导的知识图谱检索**两个核心部分，实现了特征与信息的可导传递[7][8][10] - 系统采用基于世界预测和价值模型的轨迹规划方法，通过多轮迭代生成并评估候选轨迹，最终选定规划轨迹[9][17] 关键技术模块：知识图谱与价值模型 - **驾驶知识图谱构建**：团队整合了国家交通法规、防御性驾驶原则、道德准则及经验访谈，利用大语言模型构建了结构化的驾驶知识图谱[11][13] - **知识检索机制**：在推理时，系统将三维感知信息转化为自然语言查询，通过实体抽取和向量化从知识图谱中检索并按相关性排序得到相关知识条目[13] - **价值模型构建**：团队构建了一个包含**16万个轨迹-知识对**的大规模驾驶价值偏好数据集，用于训练价值模型，每个对都有介于-1到1之间的价值评分标注[16] - **价值引导规划**：价值模型以候选轨迹、场景状态及检索知识为输入进行评估，通过计算降序加权平均分数来最终选定规划轨迹[16][17] 实验性能与效果 - **基准测试结果**：将KnowVal框架应用于GenAD、HENet++与SimLingo三个基线模型进行测试[19] - 在**nuScenes开环端到端驾驶基准**上，KnowVal取得了**最低的驾驶碰撞率**[19] - 在**Bench2Drive闭环端到端驾驶基准**上，KnowVal取得了最高的驾驶分数和成功率[19] - 具体数据：在Bench2Drive上，KnowVal-SimLingo模型的驾驶分数达到**88.42**，比基线SimLingo的85.07提高了**3.35**；成功率（SR）达到**69.03%**，比基线的67.27%提高了**1.76个百分点**[20] - **定性分析**：通过场景编辑和模拟测试表明，KnowVal能使原本无法正确处理特定场景（如路过积水减速、隧道内实线不变道）的端到端模型做出符合法律和道德的正确决策[21][23] 技术兼容性与影响 - KnowVal提供了一种与现有端到端和视觉-语言-动作模型兼容的改造方式，通过改造其轨迹规划模块并引入多样性约束，使其具备生成多样化候选轨迹的能力[16] - 该系统是一个**可端到端微调的3D视觉-语言-动作框架**，保持了模块间显式结果和隐式特征的共同传递[10]

系统核心创新 - 提出名为KnowVal的新型自动驾驶系统，通过感知模块与知识检索模块协同，实现视觉-语言推理能力，并构建集成世界模型与价值模型的规划器以实现价值对齐决策[4] - 将当前主流的视觉-语言-动作范式升级为开放三维感知-知识检索范式，通过感知和检索相互引导实现基础视觉-语言推理[7] - 系统各模块间保持显式结果和隐式特征共同传递，是可端到端微调的3D视觉-语言-动作框架[12] 技术框架与工作原理 - **检索引导的开放世界感知**：通过专用感知和开放式三维感知，抽取常见与长尾实例的3D目标检测结果、实例特征及全场景占据栅格预测，并利用轻型VLM对抽象概念进行自然语言描述[9] - **感知引导的知识图谱检索**：将感知信息自然语言化，对包含法律法规、道德原则、防御性驾驶原则的知识图谱进行检索，得到按相关性排序的知识条目[10] - **基于价值模型的轨迹规划**：通过规划模块和世界模型多轮迭代，生成多条候选自车轨迹及其他物体运动预测，价值模型对每条候选轨迹和检索知识进行价值评估，最终选定规划轨迹[11] 知识体系构建 - 收集国家交通法律法规、防御性驾驶原则、道德准则及经验知识访谈等多样化驾驶资源，构建初始知识森林[15] - 利用大语言模型抽取实体并定义节点与边，形成结构化知识图谱，在推理时生成富含三维感知信息的自然语言查询进行检索[15] 价值模型与数据集 - 提供与现有端到端和VLA模型兼容的改造方式，通过引入对自车查询叠加的多条预设高斯噪声和多样性约束损失，使模型具备生成多样化候选轨迹的能力[18] - 构建大规模驾驶价值偏好数据集，包含16万个轨迹-知识对，每个对进行介于-1到1之间的价值评分标注，用于训练价值模型[19] 实验性能表现 - 将KnowVal框架应用于GenAD、HENet++与SimLingo三个基线模型，在nuScenes开环端到端驾驶基准上取得最低的驾驶碰撞率[21] - 在Bench2Drive闭环端到端驾驶基准上取得最高的驾驶分数和成功率，例如在SimLingo基线上应用KnowVal后，驾驶分数提升3.35至88.42，成功率提升1.76个百分点至69.03%[21][22] 定性分析案例 - 在编辑后的nuScenes真实数据场景中，测试系统路过积水时能否减速慢行以免溅到行人[25] - 在CARLA模拟器隧道场景中，测试系统是否会遵循“隧道内/实线车道不能变道”的法律法规，实验表明KnowVal能正确处理这些情况[25]