MePo：面向无重放通用持续学习的元后优化方法

为了应对外部世界的不确定变化，智能系统必须从复杂、不断演变的环境中持续学习并实时响应。这种能力被称为通用持续学习（GCL），涵盖了在线数据流和模糊任务边界等实际挑战。尽管利用预训练模型（PTMs）已显著推进了传统持续学习（CL），但这些方法在单次处理过程中难以协调多样化且时间混合的信息，导致GCL性能欠佳。受神经科学中元可塑性和重构记忆的启发，本文提出了一种名为Meta Post-Refinement（MePo）的新方法，用于基于PTMs的GCL。该方法从预训练数据中构建伪任务序列，并开发了一个双层元学习范式来优化预训练主干网络，这相当于延长了预训练阶段，但大大促进了表示学习对下游GCL任务的快速适应。MePo进一步初始化一个元协方差矩阵作为预训练表示空间的参考几何结构，使GCL能够利用二阶统计量实现鲁棒的输出对齐。MePo作为一种插件策略，在多种GCL基准测试和预训练检查点上实现了显著的性能提升，且无需重放机制。