C-MOP：结合动量和边界感知聚类以增强提示进化的研究

自动提示优化是提升大语言模型（LLMs）性能的一个有前景的方向。然而，现有方法常受到噪声和冲突更新信号的影响。本研究提出了C-MOP（基于聚类的动量优化提示），通过边界感知对比采样（BACS）和动量引导语义聚类（MGSC）稳定优化过程。具体而言，BACS利用批量级信息挖掘三元特征——硬负样本、锚点和边界对，以精确刻画正负提示样本的典型表示和决策边界。为了解决语义冲突，MGSC引入了一个具有时间衰减的文本动量机制，从迭代中的波动梯度中提炼出持久共识。大量实验表明，C-MOP在PromptWizard和ProTeGi等SOTA基线方法上表现更优，平均提升分别为1.58%和3.35%。值得注意的是，C-MOP使一个拥有30亿激活参数的一般LLM超越了700亿参数的领域专用密集型LLM，凸显了其在推动精确提示进化方面的有效性。