认知记忆 多轮推理
摘要

大语言模型(LLMs)在单轮推理中表现优异,但在长时间、多轮交互中常出现准确性与连贯性下降的问题。近期评估基准如TurnBench揭示了反复出现的失败模式,包括推理偏差、任务漂移、幻觉、过度自信和记忆衰减。现有方法通常直接拼接完整对话历史,导致上下文无界增长、计算开销增加及推理效率下降。本文提出CogMem——一种受认知科学启发的记忆增强型LLM架构,通过结构化、持久化的记忆支持持续迭代推理。CogMem包含三层:长期记忆(LTM)用于跨会话推理策略整合;直接访问(DA)记忆维护会话级笔记并检索相关长期记忆;注意力焦点(FoA)机制在每轮动态重构简洁、任务相关的上下文。在TurnBench上的实验表明,该分层设计有效缓解推理失败、控制上下文膨胀,并提升长推理链的一致性,推动LLM实现更可靠、类人的推理能力。

AI 推荐理由

论文提出专用于LLM多轮推理的认知记忆架构CogMem,核心聚焦记忆机制设计。

论文信息
作者 Yiran Zhang, Jincheng Hu, Mark Dras, Usman Naseem
发布日期 2025-12-16
arXiv ID 2512.14118
相关性评分 10/10 (高度相关)