CoRect：基于上下文感知的对数对比用于隐藏状态修正以解决知识冲突

检索增强生成（RAG）在处理知识冲突时常常面临挑战，即模型内部参数化知识会覆盖检索到的证据，导致输出不忠实。现有方法通常依赖于表面解码调整或需要真实标签的权重编辑，效果有限。通过逐层分析，本文将这一失败归因于参数抑制现象：在深层中，某些前馈网络层会用记忆先验覆盖上下文敏感表示。为此，本文提出CoRect（基于上下文感知的对数对比用于隐藏状态修正）。通过对比上下文化和非上下文化的前向传递中的对数，CoRect能够在无需真实标签的情况下识别出具有高参数偏置的层，并修正隐藏状态以保留基于证据的信息。在问答（QA）和摘要任务的基准测试中，CoRect相比强基线显著提升了忠实度并减少了幻觉。