检索增强生成 信息融合 门控机制 推理优化
摘要

检索增强生成(RAG)已成为在知识密集型问答任务中结合外部证据与大语言模型(LLMs)的主要范式。现有方法在融合检索样本时存在局限,尤其当检索候选数量增加时,容易引入无关或冗余内容并提高推理成本。为此,本文提出ReFilter,一种基于潜在特征的新型融合框架,实现令牌级过滤与融合。该框架包含三个核心组件:用于编码上下文特征的上下文编码器、用于加权每个令牌的门控滤波器,以及将加权令牌特征整合到LLM隐藏状态中的令牌融合模块。实验结果表明,在四个通用领域问答基准测试中,ReFilter在域内适配和域外迁移下均取得最佳平均性能,并且在五个生物医学问答基准测试中无需领域微调即可达到70.01%的平均准确率。

AI 推荐理由

论文聚焦于增强检索增强生成(RAG)的鲁棒性,涉及推理过程中信息融合与过滤机制,直接提升LLM在知识密集型任务中的推理能力。

论文信息
作者 Yixin Chen, Ying Xiong, Shangyu Wu, Xiangrui Ke, Nan Guan et al.
发布日期 2026-02-13
arXiv ID 2602.12709
相关性评分 8/10 (高度相关)