用于大语言模型组合推理的递归概念演化

尽管大型语言模型在许多复杂推理任务中表现出色，但在需要组合推理的基准测试（如ARC-AGI-2、GPQA、MATH、BBH和HLE）中，其准确性显著下降。现有方法通过扩展标记级搜索（如思维链提示、自一致性或强化学习）来提升推理能力，但未改变模型的潜在表示空间。当所需抽象未被编码时，性能会崩溃。本文提出递归概念演化（RCE）框架，使预训练语言模型能够在推理过程中动态修改其内部表示几何结构。RCE引入了动态生成的低秩概念子空间，在检测到表示不足时生成，并通过最小描述长度准则选择、协同时合并以及约束优化进行整合，以保持稳定性。该方法允许模型构建新的抽象而非简单重组已有概念。实验表明，将RCE集成到Mistral-7B中后，在多个组合推理基准上均取得显著提升。