COMI：基于边际信息增益的由粗到精上下文压缩方法

大语言模型（LLMs）在多种任务中表现出色，但在长上下文场景中仍受限于计算低效与信息冗余。本文提出COMI——一种由粗到精的自适应上下文压缩框架，在高压缩率下联合优化语义相关性与多样性。我们引入边际信息增益（MIG）指标，定义为文本单元对查询的相关性减去其与其他单元的语义冗余，以此指导保留高相关、低冗余信息。该框架包含两个阶段：(1) 粗粒度分组重分配，依据组间MIG动态分配压缩率；(2) 细粒度词元融合，基于组内MIG加权合并词元以保留关键语义。在多个问答与摘要数据集上的实验表明，COMI显著优于现有方法，例如在NaturalQuestions上使用Qwen2-7B、32倍压缩下Exact Match提升约25个百分点。