探究工具增强大语言模型中的工具-记忆冲突

工具增强的大语言模型（LLMs）已推动众多应用发展，但可能面临知识冲突问题。本文提出一种新型知识冲突——工具-记忆冲突（Tool-Memory Conflict, TMC），即模型内部参数化知识与外部工具知识相互矛盾。研究发现，现有大语言模型在STEM相关任务中尤为容易受TMC影响。此外，不同条件下工具知识与参数化知识的优先级存在差异。作者评估了包括基于提示和RAG在内的现有冲突解决方法，结果表明这些方法均无法有效缓解工具-记忆冲突。