CVPRNov, 2021

GCR: 基于梯度子集的重放缓冲区选择，用于连续学习

PDF
TL;DR本研究介绍了 Gradient Coreset Replay 作为一种新的 replay-based CL 策略，该策略可有效应对 continual learning 中的 catastrophic forgetting，同时还展示了在离线 / 在线 CL 场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。
发现论文，激发创造
  • CORE：通过认知重播减轻连续学习中的灾难性遗忘

    本文介绍了一种新颖的观点，以显著减轻连续学习中的灾难性遗忘，强调模型保持现有知识和吸收新信息的能力。我们提出了 COgnitive REplay (CORE) 的方法，包括自适应数量分配和质量导向数据选择这两个关键策略。该方法在 split-CIFAR10 上的平均准确率为 37.95%，超过最佳基准方法 6.52%。此外，它还将最差表现任务的准确率相比顶级基准提高了 6.30%。

    Feb, 2024

  • 基于梯度的在线持续学习样本选择

    本文提出了一种控制遗忘的连续学习方法，通过基于有约束优化的观点来选择回放缓冲区的样本，以减少学习中遗忘的现象，并且与其他基于任务边界的现有方法进行了比较。

    Mar, 2019

  • 基于重复学习的在线核心集选择

    本文介绍了一个在线核心集选择算法（Online Coreset Selection），通过该算法可以从数据集中选择最具代表性和信息量最大的样本，从而来改善连续学习过程中的遗忘问题，提高模型的效果和效率。该算法在多个标准、不平衡和有噪声的数据集上得到了验证，并且相对于其他算法具有更好的抗遗忘特性和样本利用率。

    Jun, 2021

  • 强化经验重放的连续学习

    本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

    May, 2023

  • 经验回放用于连续学习

    本文研究了在强化学习中应用经验重放缓解神经网络连续学习中所面临的灾难性遗忘问题，并证明了这种方法可以在 Atari 和 DMLab 领域中很好地解决这个问题。

    Nov, 2018

  • 基于图的持续学习

    本文提出通过增加可学习的随机图来维护和重放以前样本的小型陈情表记忆，来解决非静态分布中可用数据的持续学习问题的方法。在多个基准数据集上的实证结果表明，该模型持续胜过最近提出的基线方法，用于无任务的持续学习。

    Jul, 2020

  • 增强回放的连续强化学习

    RECALL 是一种重播增强方法，通过自适应规范化和旧任务的策略蒸馏，在新任务上增强普适性和稳定性，从而显著改善持续强化学习中灾难性遗忘的问题。在 Continual World 基准测试中，RECALL 的性能明显优于纯粹的完美记忆重播，与最先进的持续学习方法相比，整体性能相当甚至更好。

    Nov, 2023

  • CLR: 通道轻量级重新编程用于持续学习

    我们提出了一种通道级轻量级重新编程的方法，帮助卷积神经网络在连续学习中克服灾难性遗忘，通过维持稳定性并保留先前任务的能力，同时新增轻量级重新编程参数来适应新的任务，这使得我们的方法对灾难性遗忘具有免疫性。

    Jul, 2023

  • 基于显著性导向的隐藏联想回放用于持续学习

    这篇研究论文介绍了一种用于持续学习的新框架，它将关联记忆与回放策略相结合，通过稀疏内存编码归档显著的数据片段，并引入面向内容的记忆检索机制，通过实验证明了该方法在各种持续学习任务中的有效性。

    Oct, 2023

  • 递归梯度优化的连续学习

    本研究引入了一种名为 Recursive Gradient Optimization 的新方法，该方法不仅能够在没有数据重放的情况下修正梯度以减少遗忘，而且还具有虚拟特征编码层 (FEL)，该层只使用任务描述符即可表示不同的长期结构。实验表明，与基线相比，RGO 在流行的连续分类基准测试中表现显著更好，并在 20-split-CIFAR100 (82.22%) 和 20-split-miniImageNet (72.63%) 中取得了新的最佳性能。该方法比单任务学习（STL）具有更高的平均准确性，而且灵活可靠，在学习依赖于梯度下降的模型的连续学习方面具有潜在的应用价值。

    Jan, 2022