寻找裂缝：通过释义探测与一致性验证改进LLM的推理能力

大型语言模型在多种推理任务中表现出色，但在更复杂的任务中，其问题解决能力常因幻觉和中间步骤中的错误累积而下降。近期研究引入了关键token的概念，即对后续推理步骤有显著影响的token。尽管已有研究表明替换关键token可以优化推理路径，但可靠地识别和利用这些token仍具挑战性。为此，本文提出了释义探测与一致性验证（PPCV）框架。PPCV分为两个阶段：第一阶段通过原始问题生成初始推理路径，并将其与问题的释义版本连接，基于预测top-1 token与预期token之间的不匹配来识别关键token；第二阶段则用候选替代token替换关键token，并为原始和释义问题生成新的推理路径，最终答案由这些并行推理过程的输出一致性决定。实验表明，PPCV显著提升了主流LLMs在多个基准测试中的推理性能。