LLMs 编码了它们的失败：从生成前激活状态预测成功

在对每个问题进行扩展推理时运行大型语言模型（LLMs）是昂贵的，但确定哪些输入实际上需要额外计算仍具有挑战性。本文研究是否可以从生成前的内部表示中恢复模型自身的成功概率，并探讨这一信号是否能指导更高效的推理过程。我们通过训练线性探针，在生成前的激活状态上预测数学和编程任务中的策略特定成功情况，显著优于表面特征如问题长度和TF-IDF。使用E2H-AMC数据集，该数据集提供了相同问题的人类和模型表现，我们展示了模型编码了一个与人类难度不同的模型特定难度概念，并且这种差异随着扩展推理而增加。利用这些探针，我们证明了跨模型池路由查询可以在减少推理成本高达70%的同时超越最佳模型的表现，表明即使模型的内部表示与人类对难度的直觉不同，也能实现实际效率提升。