CVPRMar, 2021

监督对比回放：在线类增量持续学习中重新审视最近类别均值分类器

PDF
TL;DR提出使用最近中心点法（NCM）替代在在线学习中普遍使用的 Softmax 分类器以解决软最大值分类器导致的最近偏差问题，同时引入有监督对比重播（SCR）以更有效地利用 NCM 分类器，最终实验表明该方法大幅度减少了严重遗忘情况，并在各种数据集上优于现有的学习方法。
class-incremental continual learningmemory replaynearest-class-mean classifiersupervised contrastive replaycatastrophic forgetting
发现论文，激发创造
  • PCR：基于代理的对比回放用于在线类增量连续学习

    本研究针对在线学习中的持续学习问题，提出了一种代理 - 对比重演（PCR）的新方法，通过解决不平衡问题和保持更快的收敛速度，有效缓解了历史知识丢失和忘记问题，并在三个真实数据集上实验验证了方法的有效性。

    Apr, 2023

  • 基于重播的连续学习在语义分割中的应用: RECALL

    研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

    Aug, 2021

  • 边缘重放 vs 条件重放：面向连续学习

    本文介绍了一种基于回放的持续分类学习方法，称为 “条件重放”，该方法通过从以类为条件的分布中进行采样生成样本和标签。作者将条件重放与另一种基于回放的持续学习范式（称为 “边际重放”）进行了比较，并在新的和标准的 MNIST 和 FashionMNIST 数据集构建的基准测试中展示了这种方法的有效性，并与基于正则化的 “弹性权重合并”（EWC）方法进行比较。

    Oct, 2018

  • RECALL: 无需回忆的连续学习用于目标分类

    提出了一种名为 RECALL 的新型无训练回溯方法，可持续性地学习新的未见过的物体类别，采用回想流程对旧类别进行分类，采用新头部来适应新类别，同时提出了一个正则化策略来减轻遗忘，提出了包括方差的马氏损失，以适应可变密度的新旧类别差异，并在 HOWS-CL-25 数据集上验证了方法的有效性。

    Sep, 2022

  • GCR: 基于梯度子集的重放缓冲区选择，用于连续学习

    本研究介绍了 Gradient Coreset Replay 作为一种新的 replay-based CL 策略，该策略可有效应对 continual learning 中的 catastrophic forgetting，同时还展示了在离线 / 在线 CL 场景下与现有方法相比取得的显著收益并讨论了基于监督对比损失的可持续学习的收益。

    Nov, 2021

  • 通过删除负样例对抗在线单类增量学习

    本研究探讨了超级在线连续学习设置，其中学习者接收随时间变化的类别分布的数据流。研究提出了一种一类增量学习设置的新方法，在 BYOL 自我监督学习方法的基础上引入额外的类原型规范化，以在单类别增量学习设置中实现强大的性能和与多类别增量学习设置中最优方法的竞争性能。

    Mar, 2022

  • 强化经验重放的连续学习

    本研究提出了一种基于强化经验回放的连续学习方法，通过使用当前训练数据模仿未来经验，以及蒸馏内存缓冲区的过去经验，来提高模型的预测一致性，从而有效保留已获得的知识。实验结果表明，我们的方法在多个图像分类数据集上优于现有方法。

    May, 2023

  • 防止灾难性遗忘的神经网络提醒

    提出 REMIND 方法，用于神经网络的在线学习。该方法以压缩的记忆方式实现了网络的更新，达到了降低过去学习内容遗忘的目的，并在图像分类和视觉问答任务中表现出了优越性。

    Oct, 2019

  • RepCL: 持续文本分类有效表示探索

    本研究采用基于回放的持续文本分类方法 RepCL，该方法利用对比和生成表示学习目标来捕获更多与类别相关的特征，并引入对抗式回放策略以缓解回放的过拟合问题。实验结果表明，RepCL 能够有效缓解遗忘，并在三个文本分类任务中取得了最先进的性能。

    May, 2023

  • 重新思考经验回放：持续学习的技巧集

    研究了当神经网络被培训在一个时间上变化的数据流时，其面临的 “灾难性遗忘” 问题。本文提出并实验了一种简单的 rehearsal-based 方法，即 Experience Replay，并证明其相对于现有的基于 rehearsal 的方法有了极大的精度提升。

    Oct, 2020