知识编辑 多步推理
摘要

使人工智能系统(尤其是大语言模型)能够整合新知识并在推理中灵活应用,仍是一项核心挑战。现有知识编辑方法侧重于原子事实,虽提升事实回忆能力,却难以将新信息融入可跨情境使用的连贯框架。本文认为知识内化本质上是推理问题而非记忆问题,因此提出一种基于三原则的训练策略:首先,以连贯的背景故事引入新知识;其次,利用模型自生成的多跳问题进行多步推理训练;最后,通过知识蒸馏使学生模型在无法访问新信息的情况下内化教师的推理行为。实验表明,该策略能有效支持模型在推理中利用新知识,并在需融合多个新事实的复杂问题上表现卓越。

AI 推荐理由

聚焦知识内化与推理,涉及记忆整合但非直接研究记忆机制。

论文信息
作者 Ya Gao, Kalle Kujanpää, Pekka Marttinen, Harri Valpola, Alexander Ilin
发布日期 2026-02-02
arXiv ID 2602.02028
相关性评分 7/10 (相关)