潜空间推理模型中涌现的搜索与回溯

当语言模型在无语言的情况下进行推理时会发生什么？标准的推理大语言模型通过链式思维（chain-of-thought）显式表达中间步骤，而潜空间推理变压器（LRTs）则完全在连续隐藏空间中进行推理。本文研究了一种LRT模型，在多选问答基准测试中解码模型在每一步的演变信念。发现该模型自发地学习了潜空间中的结构化搜索过程。推理过程遵循一致的轨迹：探索阶段概率质量分布在候选答案上，临时承诺一个领先选项，然后要么收敛，要么回溯。回溯现象普遍存在（32%的实例），且有益（比非回溯实例准确率提高34%），主要指向语义上最接近的干扰项以外的正确答案。搜索是自适应的：用不合理的替代项替换干扰项可使探索时间缩短54%。潜空间推理模型在激活空间中实现了链式思维通过语言实现的能力：能够犯错、察觉并恢复。