摘要
隐式或连续推理链方法通过内部潜在步骤替代显式文本推理,但这些中间计算难以评估。本文将隐式推理链建模为表示空间中的可操作因果过程,利用结构因果模型(SCM)分析其影响。研究在数学和通用推理任务中对两种代表性范式(Coconut和CODI)进行分析,探讨三个关键问题:哪些步骤对正确性是因果必要的?推理过程中影响如何传播?中间轨迹是否保留竞争答案模式?结果表明,潜在步骤预算更类似于分阶段功能而非均匀深度,并发现早期输出偏差与后期表示承诺之间存在持续差距。这些发现推动了基于模式条件和稳定性感知的分析及训练/解码目标,以改进隐式推理系统。
AI 推荐理由
论文聚焦于隐式推理过程的因果结构,直接探讨LLM的推理机制与内部步骤。
论文信息