用于大语言模型持续适应的记忆库压缩方法

大语言模型（LLMs）在日常应用中广泛使用，但其知识易随数据演化而过时。持续学习旨在更新模型知识而不遗忘旧信息，但全量微调计算成本高且易导致灾难性遗忘。现有记忆增强方法通过外部记忆库存储信息，但在真实场景中面临记忆库无限增长的问题。本文提出MBC模型，通过码本优化策略在线压缩记忆库，并引入在线重置机制防止码本坍塌。同时，在LLM注意力层采用键值低秩适配（Key-Value LoRA），高效利用压缩后的记忆表示。实验表明，MBC在保持高保留准确率的同时，将记忆库规模压缩至最强基线的0.3%。