摘要
任务专用模型是智能医疗系统的核心,使代理能够回答包括疾病诊断、定位和报告生成在内的临床问题。然而,对于给定任务,通常不存在单一的最佳模型。实际上,每个任务更适合由多个竞争性专家模型处理,不同模型在不同数据样本上表现优异。因此,代理必须从异构的工具候选池中可靠地选择合适的专家模型。为此,我们引入了ToolSelect,通过最小化采样专家工具候选的群体风险,使用任务条件选择损失的一致替代来自适应学习工具选择。具体而言,我们提出了一种基于注意力神经过程的选择器,该选择器根据查询和每种模型的行为摘要来选择专家模型。鉴于缺乏已有的测试平台,我们首次引入了一个智能胸部X光环境,并配备了多种任务专用模型(17种疾病检测、19种报告生成、6种视觉定位和13种VQA),并开发了包含1448个查询的ToolSelectBench基准。实验结果表明,ToolSelect在四个不同的任务类别中始终优于10种最先进的方法。
AI 推荐理由
论文聚焦于Agent在医疗系统中选择任务专用模型作为工具的机制,属于技能学习中的工具选择与调用。
论文信息