ReasonCACHE：在不更新权重的情况下教会大语言模型推理

大语言模型（LLMs）能否仅通过上下文学习（ICL）而无需任何权重更新来掌握推理能力？尽管ICL样本效率高，但在复杂推理任务中需大量示例，而简单扩展上下文会因注意力成本剧增、性能饱和或下降而失效。本文提出ReasonCACHE，利用前缀调优将示例蒸馏为固定键值缓存，在不占用上下文窗口且不更新模型权重的前提下实现高效推理。在GPQA-Diamond等挑战性基准上，其性能优于标准ICL，并媲美甚至超越基于权重更新的方法，同时在数据效率、推理开销和可训练参数数量上更具优势。理论上，ReasonCACHE比低秩权重更新更具表达能力，因其绕过了输入秩对表达力的限制。