Panini：通过结构化记忆实现标记空间中的持续学习

语言模型越来越多地被用于推理其未训练过的内容，如新文档、动态知识和用户特定数据。一种常见方法是检索增强生成（RAG），它将原文档存储为外部块，并在推理时仅检索相关部分供LLM进行推理。然而，这种方法导致测试时计算效率低下，并可能引入无关上下文。本文提出了一种类人非参数持续学习框架，其中基础模型保持不变，学习通过将新经验整合到外部语义记忆状态中实现。我们提出了Panini，通过将文档表示为生成性语义工作区（GSW）——一个实体和事件感知的问题-答案对网络，使LLM能够重建经历的情境并通过基于推理的链式推理挖掘潜在知识。对于每个查询，Panini仅遍历不断更新的GSW（而非原文档或块），并检索最可能的推理链。实验表明，Panini在六个问答基准上表现最佳，平均性能比其他竞争基线高出5%-7%，同时使用更少的答案-上下文标记，支持完全开源流程，并减少了不可回答查询的无支持答案。