EAA：使用视觉语言模型代理自动化材料表征

本文提出了一种由视觉语言模型驱动的代理系统——实验自动化代理（EAA），旨在自动化复杂的显微实验流程。EAA集成了多模态推理、工具增强动作和可选的长期记忆功能，支持自主操作和用户引导测量。该系统基于灵活的任务管理架构，能够实现从完全代理驱动的自动化到嵌入局部LLM查询的逻辑定义流程。此外，EAA提供了一个现代工具生态系统，支持Model Context Protocol（MCP）的双向兼容性，使仪器控制工具能够在不同应用中被调用或服务。我们在先进光子源的成像光束线上展示了EAA的应用，包括自动聚焦区板、自然语言描述的特征搜索以及交互式数据采集。这些结果表明，具备视觉能力的代理可以提高光束线效率，减轻操作负担，并降低用户的专业知识门槛。