摘要
代码生成是一项需要精确且结构化推理的挑战性任务。现有的测试时扩展(TTS)方法,包括结构化树搜索,在探索推理路径方面取得了一定进展,但仍面临两个主要问题:(1)浅层推理,即推理链往往较浅,无法捕捉问题的全部复杂性;(2)过度推理,即过于冗长的推理导致效率低下和计算成本增加。为了解决这些问题,我们提出了LogitsCoder,一种通过轻量级logits层级控制机制增强链式推理的新框架。LogitsCoder通过首先利用Logits Preference Decoding引导token选择向统计上更优的模式靠拢,然后使用基于logits排名的路径选择和思维聚合方法选择并整合多样化的推理路径,从而生成既连贯又有效的推理链,平衡深度与效率。大量实验表明,LogitsCoder生成的推理链更加高效且质量更高,相较于基线方法在代码生成性能上表现更优。
AI 推荐理由
论文聚焦于提升LLM的推理路径搜索效率,直接涉及链式推理机制与生成质量。
论文信息