Pensieve范式：具备状态管理能力的语言模型掌握自身上下文

在《哈利·波特》的世界中，当邓布利多思维负担过重时，他会将记忆提取到一个名为Pensieve的装置中以备后用。在人工智能领域，尽管我们拥有成熟的数据库和检索系统，但模型却缺乏操作这些系统的工具。本文提出StateLM，一种新型基础模型，赋予其内部推理循环以自主管理状态的能力。该模型配备了包括上下文剪枝、文档索引和笔记记录等记忆工具，并训练其主动使用这些工具。通过学习动态构建自身上下文，StateLM突破了固定窗口架构的限制。实验表明，在长文档问答任务中，StateLM在所有规模模型上均优于标准LLM；在聊天记忆任务中，准确率提升10%至20%；在深度研究任务BrowseComp-Plus中，StateLM达到52%的准确率，而标准LLM仅约5%。最终，该方法使LLM从被动预测器转变为具备状态感知能力的智能体，使推理过程成为可管理的状态化流程。