BFS-PO：用于大型推理模型的最佳优先搜索

大型推理模型（LRMs）如OpenAI o1和DeepSeek-R1在使用长推理链的任务中表现出色，但同时也带来了计算成本增加和输出冗长的问题，即过度思考现象。强化学习算法如GRPO/DAPO往往会加剧这一问题。本文提出BFS-PO，一种基于最佳优先搜索策略的强化学习算法，通过最大熵节点的回溯机制寻找最短正确答案。在训练过程中，BFS-PO逐步生成更简短的响应，从而学会生成简洁的推理链。实验表明，BFS-PO能够在不同基准和基础LRMs上同时提高模型准确率并缩短回答长度。