超越置信度：生成模型中推理的节奏

大型语言模型（LLMs）展现出令人印象深刻的性能，但对输入上下文微小变化敏感，影响可靠性。传统指标如准确率和困惑度无法评估局部预测的鲁棒性，因为归一化输出概率可能掩盖LLM内部状态对扰动的抗性。本文引入了一个新的度量指标——Token Constraint Bound（$δ_{ ext{TCB}}$），用于量化LLM在主导下一个token预测显著变化前能承受的最大内部状态扰动。该指标本质上与输出嵌入空间几何相关，为模型内部预测承诺的稳定性提供了洞见。实验表明，$δ_{ ext{TCB}}$与有效的提示工程相关，并揭示了在上下文学习和文本生成过程中困惑度未能发现的关键预测不稳定性。$δ_{ ext{TCB}}$提供了一种原理性的补充方法，用于分析并潜在提升LLM预测的上下文稳定性。