使用Mamba-2注意力混合的小型递归推理

近期关于递归推理模型（如TRM）的研究表明，小型网络（7M参数）可以通过潜在递归机制在抽象推理任务中取得良好性能。本文探讨了将Mamba-2状态空间递归引入递归框架是否能保持推理能力。通过将TRM中的Transformer模块替换为Mamba-2混合操作符，并保持参数数量相近（6.83M vs 6.86M），实验结果表明，在ARC-AGI-1数据集上，混合模型在pass@2指标上提升了2.0%，且在更高K值下表现更优，同时保持了pass@1的一致性。这表明混合模型提高了候选解覆盖范围，生成正确解的能力更强。研究验证了Mamba-2混合操作符在递归框架中保留推理能力，确立了基于SSM的操作符作为递归操作符设计空间中的可行选择。