LOOKAT：面向内存高效Transformer的查找优化键注意力机制

在边缘设备部署大语言模型需压缩KV缓存。现有量化方法虽减少存储，但因注意力计算前需将INT4/INT8键反量化为FP16，未能降低带宽开销。本文指出注意力评分等价于内积相似性搜索，可借鉴向量数据库压缩技术。提出LOOKAT方法，通过乘积量化与非对称距离计算，将键向量分解为子空间、学习码本，并利用查找表计算注意力，使注意力计算从内存受限转为计算受限。在GPT-2上实现64倍压缩（输出保真度95.7%）和32倍压缩（95.0%），无需修改架构或重新训练，且保持排名相关性ρ>0.95。理论分析表明相关性退化率为O(d_k/mK)，在序列长度达1024时仍有效。