摘要
潜在推理将思维链(CoT)压缩为连续隐状态,但现有方法依赖难以解释和控制的稠密潜在转移。与此同时,稀疏表征模型虽能揭示人类可解释的语义特征,却多限于事后分析。本文提出LSTR(潜在稀疏转码推理)框架,将功能性稀疏转码器提升为主动推理算子,通过稀疏语义转移执行多步计算。其核心是采用残差跳跃架构的潜在转移转码器(LTT),将线性流形迁移与稀疏语义更新解耦,并通过显式稀疏性约束实现可控的语义分辨率。实验表明,LSTR在保持推理准确性和压缩效率的同时,显著优于稠密基线的可解释性。因果干预与轨迹分析进一步证明,这些稀疏特征在推理过程中兼具可解释性与因果有效性。
AI 推荐理由
涉及隐状态压缩与语义表征,属记忆机制的间接应用。
论文信息