面向持续领域演化的在线域感知LLM解码方法

通常情况下，大语言模型（LLMs）通过离线微调特定领域的数据进行训练，假设领域是静态的。然而，在实际应用中，领域知识会随着新法规、产品、服务和交互模式的不断出现而持续演变。对每个新实例重新训练或微调LLM在计算上不可行。此外，现实环境也表现出时间动态性，数据分布不断变化。忽视这一现象（即概念漂移）会显著降低模型的预测准确性。为解决这一问题，本文提出了一种在线域感知解码框架（ODD），该框架通过概率级融合基础LLM与前缀树先验，并利用分歧和连续性信号进行自适应置信度调节。在多种漂移场景下的实验证明，ODD在所有语法和语义自然语言生成指标上均优于LLM-Greedy和LLM-Temp Scaled。其ROUGE-L得分绝对提升0.065，余弦相似度相对提高13.6%。这些结果表明，ODD能够有效应对词汇和上下文模式的演变，适用于动态LLM应用场景。