预训练Transformer的内循环推理：无需训练即可解锁潜在能力

深度学习架构，尤其是Transformer，通常被视为由多个层组成的结构。这些层实际上常常是两个贡献的总和：一个残差路径，它复制Transformer块的输入和输出。因此，内部表示（即这些块的输入）可以被解释为传播的潜在表示的迭代优化。在此基础上，许多研究认为内部空间在各层之间是共享的，意味着可以在早期阶段解码标记。机制性可解释性甚至进一步推测某些层充当优化层。沿着这一思路，我们提出了推理时的内循环方法，通过重复应用选定的块范围来延长预训练语言模型的优化过程。在多个基准测试中，内循环带来了适度但一致的准确性提升。对生成的潜在轨迹的分析表明状态演化更加稳定，并且语义优化持续进行。总体而言，我们的结果表明，通过简单的测试时循环可以在冻结的预训练模型中获得额外的优化效果。