MATEO：用于LVLMs时序推理与规划的多模态基准

AI代理需要进行规划以实现涉及感知、子目标分解和执行的复杂目标。这些计划由按照时间执行顺序（TEO）结构化的有序步骤组成，确保每个步骤在满足前提条件后才执行。现有研究对基础模型的时间执行理解局限于自动推导的注释、将TEO近似为线性链或仅文本输入。为弥补这一不足，我们引入了MATEO（多模态时序执行顺序），一个旨在评估和提升大型视觉语言模型（LVLMs）时序推理能力的基准，以支持现实世界的规划任务。我们获取了一个高质量的专业多模态食谱语料库，通过标准化编辑流程将指令分解为离散步骤，并配以相应图像。我们通过设计可扩展的众包流程收集TEO注释作为图结构。使用MATEO，我们在不同模型规模、语言上下文、多模态输入结构和微调策略下评估了六种最先进的LVLM。