面向查询和记忆感知的长上下文重排序器

基于对大型语言模型中检索头的现有分析，我们提出了一种替代的重排序框架，训练模型利用所选头部的注意力分数来估计段落与查询的相关性。该方法提供了一种列表级解决方案，在排序过程中利用整个候选短名单中的整体信息。同时，它自然地生成连续的相关性分数，使得可以在任意检索数据集上进行训练，而无需Likert量表监督。我们的框架轻量且有效，仅需小规模模型（如4B参数）即可实现强大性能。大量实验表明，我们的方法在多个领域（包括维基百科和长叙事数据集）上优于现有的最先进的点级和列表级重排序器。此外，它还在LoCoMo基准测试中建立了新的最先进水平，该基准测试评估对话理解和记忆使用能力。我们进一步证明，我们的框架支持灵活扩展。例如，通过向候选段落添加上下文信息可以进一步提高排序准确性，而从中间层训练注意力头可以提高效率而不牺牲性能。