涌现的结构化表示支持大型语言模型的灵活上下文推理

大型语言模型（LLMs）表现出类似人类推理的涌现行为。尽管近期研究已识别出这些模型中存在结构化的、类似人类的概念表示，但尚不清楚它们是否在功能上依赖这些表示进行推理。本文研究了LLMs在上下文概念推理过程中的内部处理机制。结果表明，在中间到后期层中出现了一个概念子空间，其表示结构在不同上下文中保持稳定。通过因果中介分析，我们证明该子空间不仅是伴随现象，而且是模型预测的核心功能部分，确立了其在推理中的因果作用。我们进一步发现，早期至中期层的注意力头通过整合上下文线索来构建和优化该子空间，随后由后期层利用以生成预测。这些发现为LLMs如何动态构建并使用结构化、潜在表示进行上下文推理提供了证据，揭示了其灵活适应的计算过程。