我能点你的订单吗？用于扩散语言模型中槽位填充顺序的蒙特卡洛树搜索

尽管在掩码扩散模型（MDMs）中采用计划-填充解码策略在数学和代码推理方面表现出潜力，但其性能高度依赖于槽位填充顺序，常导致输出结果的显著波动。本文提出McDiffuSE框架，将槽位选择建模为决策过程，并通过蒙特卡洛树搜索（MCTS）优化填充顺序。该框架利用前瞻模拟评估部分完成情况，在承诺前系统探索生成顺序的组合空间。实验表明，与自回归基线相比，McDiffuSE平均提升了3.2%，与基线计划-填充方法相比提升了8.0%，在MBPP和MATH500数据集上分别提升了19.5%和4.9%。分析发现，虽然McDiffuSE主要遵循顺序生成，但引入非顺序生成对最大化性能至关重要。研究还发现，增加探索常数比增加模拟次数更有效，有助于克服模型置信度偏差并发现有效的顺序。这些发现确立了基于MCTS的规划方法作为提升MDMs生成质量的有效途径。