通过结构演化优化软提示调优

软提示调优利用连续嵌入来捕捉大预训练语言模型中的任务特定信息，在少样本设置中表现出竞争力。然而，软提示依赖于高维、隐式的表示，缺乏显式语义和可追溯的训练行为，限制了其可解释性。为解决这一问题，本文提出一种基于拓扑形态演化的软提示调优优化方法。具体而言，我们采用拓扑数据分析中的持久同源性来量化软提示在连续参数空间中的结构表示及其训练过程的演化。定量分析表明，具有拓扑稳定性和紧凑性的软提示在下游任务中表现更优。基于这一经验观察，我们构建了一个用于优化软提示调优的损失函数，称为拓扑软提示损失（TSLoss）。TSLoss通过量化参数间的连接性和冗余性，引导模型学习结构稳定的适应。大量实验表明，使用TSLoss进行训练可以加速收敛并提升调优性能，从结构和拓扑视角提供了一种可解释的方法来理解和优化软提示调优。