量化陷阱：打破多跳推理中的线性扩展定律

神经网络的扩展定律为AI进步提供了一种可预测的方案：降低数值精度应能线性提升计算效率和能耗表现（E与位数成正比）。本文证明，在多跳推理的背景下，这一扩展定律失效。我们揭示了一个‘量化陷阱’，即从16位精度降至8/4位时，反而会增加净能耗并降低推理准确性。我们通过严格的理论分析指出，这种失败源于硬件转换开销以及反量化内核的隐藏延迟成本，这些因素在顺序推理链中成为主要瓶颈，还涉及顺序能量摊销失败。因此，扩展定律的失效在实践中是不可避免的。我们的研究结果表明，行业普遍采用的‘越小越好’启发式方法，对于复杂推理任务而言在数学上是低效的。