通过细粒度组策略优化实现长链式推理压缩

大型语言模型（LLMs）在生成链式推理（Chain-of-Thought, CoT）时往往产生冗余内容，增加了计算成本和延迟，而性能提升有限。本文提出了一种基于强化学习的细粒度组策略优化算法（FGO），通过细分组响应并根据长度和熵分配适当权重，实现有效的CoT压缩。同时，作为Group Relative Policy Optimization（GRPO）的增强变体，FGO成功解决了GRPO的两个主要限制：数据利用效率低和熵崩溃问题。我们在多个推理任务上的实验表明，FGO能够在不降低性能的前提下实现高效的CoT压缩，并有效解决GRPO的关键局限。