ATACompressor: 面向高效长上下文处理的自适应任务感知压缩方法

大型语言模型（LLMs）在处理长上下文输入时常常面临“中间信息丢失”问题，关键信息因长度过长而被稀释或忽略。现有的上下文压缩方法旨在通过减少输入规模来解决这一问题，但在信息保留和压缩效率之间难以取得平衡。本文提出了一种自适应任务感知压缩器（ATACompressor），该方法根据具体任务需求动态调整压缩策略。ATACompressor采用选择性编码器，仅对长上下文中与任务相关的部分进行压缩，从而确保关键信息得以保留并去除冗余内容。其自适应分配控制器能够感知相关内容的长度，并据此调整压缩率，以优化资源利用。我们在HotpotQA、MSMARCO和SQUAD三个问答数据集上评估了ATACompressor，结果表明其在压缩效率和任务性能方面均优于现有方法。此外，我们还进行了多种消融实验和分析实验，以深入理解ATACompressor的关键组成部分。