视觉推理基准：评估多模态大语言模型在小学教育真实视觉问题上的表现

尽管AI模型在文本推理方面取得了最先进的成果，但其在空间和关系结构上的推理能力仍是一个关键瓶颈，尤其是在依赖视觉的小学数学教育中。本文介绍了视觉推理基准（VRB），这是一个用于评估多模态大语言模型（MLLMs）解决课堂真实视觉问题能力的新数据集。该基准基于来自赞比亚和印度小学考试的701个问题，涵盖类比推理、模式补全和空间匹配等任务。研究方法有意使用未经编辑且文字极少的图像，以测试模型是否能满足小学教育的实际需求。研究发现，模型在静态技能如计数和缩放上表现较好，但在折叠、反射和旋转等动态操作上存在明显的“空间天花板”。这些弱点可能影响课堂中视觉推理问题的教学效果，因此像VRB这样的教育导向基准对于确定多模态工具在课堂中的功能边界至关重要。