摘要
动态地图(DM)是中国和日本车路云(VRC)协同自动驾驶的基础信息基础设施。通过提供全面的交通场景表示,DM克服了独立自动驾驶系统(ADS)的物理遮挡等限制。尽管增强DM的ADS已在日本实际应用中部署成功,但现有DM系统仍缺乏支持自然语言(NLS)的人机交互接口,这将显著提升人与DM的交互能力。为弥补这一不足,本文引入了VRCsim,一个用于生成流式VRC协同感知数据的仿真框架。基于VRCsim,我们构建了一个名为VRC-QA的数据集,专注于混合交通场景中的空间查询与推理。在此基础上,我们进一步提出了Talk2DM,一个可插拔模块,扩展了VRC-DM系统的自然语言查询与常识推理能力。Talk2DM基于一种新颖的提示链(CoP)机制,逐步整合用户定义规则与大语言模型(LLMs)的常识知识。在VRC-QA上的实验表明,Talk2DM可以在不同LLM之间无缝切换并保持高精度的自然语言查询,展示了其强大的泛化能力。虽然更大的模型通常具有更高的准确性,但效率下降明显。我们的结果表明,由Qwen3:8B、Gemma3:27B和GPT-oss模型驱动的Talk2DM实现了超过93%的自然语言查询准确率,平均响应时间仅为2-5秒,显示出良好的实用潜力。
AI 推荐理由
论文核心围绕常识推理与自然语言查询,提出基于大模型的推理机制。
论文信息