摘要
检索增强生成(RAG)已成为在知识密集型问答任务中结合外部证据与大语言模型(LLMs)的主要范式。现有方法在融合检索样本时存在局限,尤其当检索候选数量增加时,容易引入无关或冗余内容并提高推理成本。为此,本文提出ReFilter,一种基于潜在特征的新型融合框架,实现令牌级过滤与融合。该框架包含三个核心组件:用于编码上下文特征的上下文编码器、用于加权每个令牌的门控滤波器,以及将加权令牌特征整合到LLM隐藏状态中的令牌融合模块。实验结果表明,在四个通用领域问答基准测试中,ReFilter在域内适配和域外迁移下均取得最佳平均性能,并且在五个生物医学问答基准测试中无需领域微调即可达到70.01%的平均准确率。
AI 推荐理由
论文聚焦于增强检索增强生成(RAG)的鲁棒性,涉及推理过程中信息融合与过滤机制,直接提升LLM在知识密集型任务中的推理能力。
论文信息