本文提出了一种控制遗忘的连续学习方法，通过基于有约束优化的观点来选择回放缓冲区的样本，以减少学习中遗忘的现象，并且与其他基于任务边界的现有方法进行了比较。

Mar, 2019

我们提出了一种名为 'Class-Adaptive Sampling Policy'（CASP）的新方法和策略，通过利用类贡献和困难度的概念，动态分配缓冲区内的存储空间，从而显著提高了知识保留和利用的效率，满足了动态缓冲区分配的需求，以适应不同类别的变化贡献和学习复杂性。

Nov, 2023

本研究介绍了 Gradient Coreset Replay 作为一种新的 replay-based CL 策略，该策略可有效应对 continual learning 中的 catastrophic forgetting，同时还展示了在离线 / 在线 CL 场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。

Nov, 2021

通过从神经科学和现有的对抗性和持续学习研究的洞见中获得灵感，我们引入了一个新的框架，名为 Robust Rehearsal，通过特征精炼和再巩固的核心概念，解决了持续学习系统中的灾难性遗忘挑战，从而通过学习任务中的精炼体验重现和过去体验的整合来模拟记忆再巩固，为恢复性遗忘提供了有前景的解决方案，为更健壮和类人的人工智能系统铺平了道路。

Apr, 2024

通过研究回放方法在连续学习中的应用，本文提出了一种评估选择性检索策略的框架，并评估了多种策略的表现，并提出了防止重放重复的策略，探索是否可以通过学习低损失值的新样本来避免回放。

Apr, 2024

本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

Jul, 2020

我们针对图连续学习（GCL）方法中的回放缓冲区展开了研究。我们提出了一种名为 DSLR 的 GCL 模型，通过考虑回放节点的类别代表性和类内多样性来解决回放缓冲区中节点集中和模型性能受损的问题，并采用图结构学习来确保回放节点与真正具有信息的邻居连接。大量的实验结果证明了 DSLR 的有效性和高效性。

Feb, 2024

通过在重播示例中对网络的每个层进行 Lipschitz 限制，Lipschitz-DrivEn Rehearsal (LiDER) 提出了一个监督目标，以诱导平滑的反向传播，从而防止缓冲区过度拟合引起的紧张和不稳定的决策边界，并表明它能够提供稳定的绩效提升。

Oct, 2022

本论文重新审视了在线学习中排挤记忆（rehearsal）动态。我们从偏差和动态经验风险最小化的角度提供了理论见解，并检查了重复练习的优点和局限性。受我们的分析启发，设计了一个简单直观的 “重复增强排挤（Repeated Augmented Rehearsal，RAR）” 基线，以解决在线排练的欠拟合和过拟合问题。该论文还展示了 RAR 在学习轨迹中成功实现了对过去数据损失景观和高损失梁脊的准确近似。我们通过广泛的消融研究研究了重复和增强练习之间的相互作用，同时应用强化学习（RL）来动态调整 RAR 的超参数，以在线平衡稳定性 - 可塑性权衡。

Sep, 2022

本文探讨了不断学习中，使用 rehearsal 方法的优点和局限，通过三个基准测试提供了实证证据，指出使用该方法的模型在任务完成后仍然处于较低的损失区域，但有过拟合采样数据的风险从而降低模型的泛化能力，这是一项重要的持续学习研究。

Apr, 2021