摘要
大型语言模型(LLMs)在推理过程中常因冗长且低效的思维链而产生较高的计算成本并影响性能。受人类利用过往案例解决新问题的启发,本文提出基于先例的推理(PIR),将推理范式从耗尽式的自我探索转变为基于先例的引导学习。PIR主要解决两个关键问题:如何选择相关先例以及如何有效利用它们。首先,自适应先例选择(APS)为每个问题和模型构建一个语义相关且信息丰富的先例集合,并通过语义相似度与模型困惑度联合评分进行排序,从而最大化困惑度降低。其次,测试时经验内化(TEI)通过更新轻量级适配器,将解决方案模式内化为推理中的先验知识。实验表明,PIR在数学推理、科学问答和代码生成任务中均能显著缩短推理路径,同时保持或提升最终准确性,实现了优异的精度-效率权衡。
AI 推荐理由
论文聚焦于改进LLM的推理过程,提出通过先例引导推理以减少冗余探索,直接针对推理能力优化。
论文信息