从不可恢复的错误中学习：面向工具集成LLM推理的错误定位策略优化

工具集成推理（TIR）使LLM代理能够通过规划、工具使用和迭代修正来解决任务，但在这种设置下基于结果的强化学习面临稀疏、延迟奖励和弱步骤级信用分配的问题。在长跨度的TIR轨迹中，早期不可恢复的错误可能决定任务成败，因此需要定位第一个不可恢复步骤并利用其进行细粒度信用分配。本文提出错误定位策略优化（ELPO），通过固定展开预算下的二分查找展开树定位第一个不可恢复步骤，通过层次优势归因将树结构转化为稳定的训练信号，并应用错误定位自适应裁剪以增强对关键步骤及其后续部分的校正更新。在数学、科学问答和代码执行等TIR基准测试中，ELPO在可比采样预算下始终优于强代理RL基线，在Pass@K和Major@K扩展、展开排名质量和工具调用效率方面均有额外提升。