大型语言模型搜索增强推理中的知识整合衰减

现代大型语言模型（LLMs）通过使用搜索增强推理，在复杂任务中表现出色，能够将外部知识整合到长链推理中。然而，本文识别出该范式中一个关键但尚未被充分研究的瓶颈，称为知识整合衰减（KID）。具体而言，随着推理链在搜索前变长，模型越来越难以将检索到的证据整合到后续推理步骤中，从而限制了性能，即使相关信息可用。为了解决这一问题，本文提出了一种无需训练的推理时策略——自锚定知识编码（SAKE），旨在稳定知识利用。通过在推理过程的开始和结束处锚定检索到的知识，SAKE防止其被先前上下文所掩盖，从而保持其语义完整性。在多跳问答和复杂推理基准上的大量实验表明，SAKE显著缓解了KID并提升了性能，为代理式LLM中的知识整合提供了一个轻量而有效的解决方案。