持续学习中数据重放的可证明效果：从特征学习视角分析

持续学习（CL）旨在使模型在一系列任务上进行训练，同时保持对先前任务的性能。该设置中的核心挑战是灾难性遗忘，即新学习会干扰旧知识。在各种缓解策略中，数据重放方法通过定期回顾过去样本被认为简单而有效，尤其是在内存约束较宽松的情况下。然而，关于全数据重放（训练过程中可以访问所有历史数据）的理论有效性仍鲜有研究。本文从特征学习的角度出发，提出了一种全面的理论框架来分析持续学习中的全数据重放训练。采用多视图数据模型，我们识别出信噪比（SNR）是影响遗忘的关键因素。针对跨M个任务的任务增量二分类问题，我们的分析验证了两个关键结论：（1）当后期任务的累积噪声主导早期任务的信号时，即使在全数据重放下仍可能发生遗忘；（2）随着信号积累，数据重放可以恢复早期任务，即使其初始学习表现较差。值得注意的是，我们发现了一个新的任务排序见解：优先处理高信号任务不仅有助于低信号任务的学习，还能防止灾难性遗忘。我们通过合成和现实世界的实验验证了这些理论发现，并可视化了不同信噪比和任务相关性条件下的信号学习与噪声记忆之间的相互作用。