跨模态神经形态计算中的模态依赖性记忆机制

增强记忆的脉冲神经网络（SNNs）有望实现高能效的神经形态计算，但其在不同感官模态间的泛化能力尚未探索。本文首次对SNN中的记忆机制开展全面的跨模态消融研究，评估Hopfield网络、分层门控循环网络（HGRN）和监督对比学习（SCL）在视觉（N-MNIST）与听觉（SHD）神经形态数据集上的性能。结果揭示显著的模态依赖性：Hopfield网络在视觉任务上达97.68%准确率，但在听觉任务仅76.15%；SCL则表现更均衡。研究证明记忆机制具有任务特异性而非普适性，并通过多模态联合训练验证了统一部署的有效性。定量记忆痕迹分析显示跨模态对齐较弱（相似度0.038），支持并行架构设计。该工作首次为神经形态系统中模态特异性记忆优化提供实证依据，能效比传统神经网络提升603倍。