文章核心观点 - 北京大学王选计算机研究所团队提出了一种名为KnowVal的新型自动驾驶系统,该系统通过引入知识检索与价值引导机制,旨在解决高阶自动驾驶所需的法律、道德及世界理解能力,并在基准测试中取得了最先进的性能表现[1][3] 系统框架与核心范式 - KnowVal系统将传统的视觉-语言-动作范式升级为开放三维感知-知识检索范式,通过感知与检索的相互引导实现视觉-语言推理[4][5] - 系统框架包含检索引导的开放世界感知与感知引导的知识图谱检索两个核心部分,实现了特征与信息的可导传递[7][8][10] - 系统采用基于世界预测和价值模型的轨迹规划方法,通过多轮迭代生成并评估候选轨迹,最终选定规划轨迹[9][17] 关键技术模块:知识图谱与价值模型 - 驾驶知识图谱构建:团队整合了国家交通法规、防御性驾驶原则、道德准则及经验访谈,利用大语言模型构建了结构化的驾驶知识图谱[11][13] - 知识检索机制:在推理时,系统将三维感知信息转化为自然语言查询,通过实体抽取和向量化从知识图谱中检索并按相关性排序得到相关知识条目[13] - 价值模型构建:团队构建了一个包含16万个轨迹-知识对的大规模驾驶价值偏好数据集,用于训练价值模型,每个对都有介于-1到1之间的价值评分标注[16] - 价值引导规划:价值模型以候选轨迹、场景状态及检索知识为输入进行评估,通过计算降序加权平均分数来最终选定规划轨迹[16][17] 实验性能与效果 - 基准测试结果:将KnowVal框架应用于GenAD、HENet++与SimLingo三个基线模型进行测试[19] - 在nuScenes开环端到端驾驶基准上,KnowVal取得了最低的驾驶碰撞率[19] - 在Bench2Drive闭环端到端驾驶基准上,KnowVal取得了最高的驾驶分数和成功率[19] - 具体数据:在Bench2Drive上,KnowVal-SimLingo模型的驾驶分数达到88.42,比基线SimLingo的85.07提高了3.35;成功率(SR)达到69.03%,比基线的67.27%提高了1.76个百分点[20] - 定性分析:通过场景编辑和模拟测试表明,KnowVal能使原本无法正确处理特定场景(如路过积水减速、隧道内实线不变道)的端到端模型做出符合法律和道德的正确决策[21][23] 技术兼容性与影响 - KnowVal提供了一种与现有端到端和视觉-语言-动作模型兼容的改造方式,通过改造其轨迹规划模块并引入多样性约束,使其具备生成多样化候选轨迹的能力[16] - 该系统是一个可端到端微调的3D视觉-语言-动作框架,保持了模块间显式结果和隐式特征的共同传递[10]
北大一篇端到端KnowVal:懂法律、有价值观的智能驾驶系统
自动驾驶之心·2026-01-16 15:35