思维链推理的潜力：对轨迹动态的深入分析

思维链（CoT）提示是一种从大型语言模型（LLMs）中激发类推理响应的标准技术，允许模型在给出最终答案前逐步说明推理过程。尽管其与人类推理的相似性显而易见，但支撑CoT推理成功的内在机制仍不清楚。本文通过深入分析来自竞赛级数学问题的CoT轨迹，旨在更好地理解哪些部分的CoT真正有助于得出最终答案。为此，我们引入了“势能”概念，用于量化CoT中某一部分如何提高正确完成的可能性。通过势能视角分析推理轨迹，我们发现了令人惊讶的模式，包括非单调性、尖锐但难以解释的峰值以及偶然猜测等现象。此外，我们还研究了CoT可迁移性，发现仅20%的部分CoT即可显著提升弱模型的性能，表明CoT的核心机制具有可迁移性。