ArcAligner：用于RAG中压缩上下文嵌入的自适应递归对齐器

检索增强生成（RAG）有助于提升大语言模型的准确性，但将长文档输入提示会显著增加计算开销。为此，研究者提出了多种上下文压缩方法，如词元剪枝、摘要和嵌入压缩等。然而，过度压缩会导致模型难以理解信息。本文提出ArcAligner（自适应递归上下文对齐器），一种轻量级模块，集成于语言模型层中，以提升模型对高度压缩上下文表示的利用能力。其采用自适应“门控”机制，仅在信息复杂时增加计算，兼顾效率与性能。在多个知识密集型问答基准上，ArcAligner在相近压缩率下显著优于现有基线，尤其在多跳推理和长尾场景中表现突出。代码已开源。