数据分布至关重要：面向大语言模型上下文压缩的数据中心视角

大语言模型（LLMs）在长上下文场景中的部署受限于计算效率低下和信息冗余。尽管上下文压缩已被广泛采用，但现有研究多聚焦于模型侧改进，忽视了数据分布本身对压缩效果的影响。本文首次从数据中心视角系统探究输入数据与模型内在预训练知识（即内在数据）的分布如何影响压缩质量。通过基于自编码器的框架评估压缩表示的语义完整性，实验发现：（1）编码器测得的输入熵与压缩质量呈负相关，而解码器测得的熵在冻结解码器设置下无显著关联；（2）编码器与解码器内在数据之间的差距显著削弱压缩收益，且难以缓解。基于此，作者提出了优化压缩效果的实用指南。