MALLVI：一种用于集成通用机器人操作的多智能体框架

基于大语言模型（LLMs）的机器人操作任务规划是一个新兴领域。现有方法依赖于专用模型、微调或提示调整，并通常以开环方式运行，缺乏对环境的鲁棒反馈，导致在动态环境中表现脆弱。本文提出MALLVI，一个结合大语言模型与视觉的多智能体框架，支持闭环反馈驱动的机器人操作。给定自然语言指令和环境图像，MALLVI生成可执行的原子动作。执行后，视觉语言模型（VLM）评估环境反馈并决定是否重复过程或进入下一步。MALLVI通过协调多个专门代理（Decomposer、Localizer、Thinker、Reflector）来管理感知、定位、推理和高层规划。可选的Descriptor代理提供初始状态的视觉记忆。Reflector通过仅重新激活相关代理实现有针对性的错误检测与恢复，避免全面重规划。仿真与真实环境实验表明，迭代闭环多代理协作提升了泛化能力，并提高了零样本操作任务的成功率。