STaR：面向长期多模态机器人记忆的可扩展任务条件检索

移动机器人通常在长时间跨度的多样化开放动态场景中部署，包括室内仓库和制造设施以及室外农业和道路作业环境。核心挑战是构建一个可扩展的长期记忆系统，以支持代理式工作流进行规划、检索和推理，同时能够处理不同粒度的开放指令并生成精确的操作答案。本文提出了STaR，一种代理推理框架，其一构建了一个与任务无关的多模态长期记忆系统，能够在保留细粒度环境语义（如对象属性、空间关系和动态事件）的同时泛化到未见过的查询；其二引入了一种基于信息瓶颈原理的可扩展任务条件检索算法，从长期记忆中提取出紧凑、非冗余且信息丰富的候选记忆集用于上下文推理。实验在NaVQA（混合室内外校园场景）和WH-VQA（基于Isaac Sim构建的定制化仓库基准）上进行，强调上下文推理能力。在两个数据集上，STaR始终优于强基线方法，取得更高的成功率和显著更低的空间误差。此外，STaR还被部署在真实Husky轮式机器人上，在室内外环境中展示了鲁棒的长期推理能力、可扩展性和实用价值。