May, 2023

压缩型原型重放用于类别增量学习

PDF
TL;DR本文提出 YONO 方法，即每类只需要回放一个压缩的原型，它可以比代价高的示例回放方法表现得更好，并将样本移至原型以形成与其他类别远离的紧凑集群，通过增加类别间距以有效减少干扰造成的遗忘。进一步，将 YONO 扩展为 YONO +，通过在表示空间中每个原型的邻域随机采样来创建合成回放数据，证明合成数据可以进一步改善 YONO。
incremental learningcatastrophic forgettingprototype learningclass interferencesynthetic replay data
发现论文，激发创造
  • 增强一致性与减轻偏见：一种用于增量学习的数据回放方法

    提出了一种通过量化数据一致性并引入新的损失函数来改进数据回放及类别增量学习的方法。在实验证明比以前的方法有更好的性能。

    Jan, 2024

  • 可变的原型重放进行连续学习

    本研究提出一种新的方法 —— 变分原型重放，以实现分类任务中的少样本连续学习，避免了灾难性遗忘。该方法通过学习一组可变原型来表示属于同一类的样本嵌入，并将类代表原型分别分开。此外，该方法还通过从以前的任务中重放一个样本来避免灾难性遗忘。相较于最近的连续学习方法，该方法能够在不需要添加新单元的情况下轻松适应更多类的新任务，并且更具有内存效率。

    May, 2019

  • 防止灾难性遗忘的神经网络提醒

    提出 REMIND 方法，用于神经网络的在线学习。该方法以压缩的记忆方式实现了网络的更新，达到了降低过去学习内容遗忘的目的，并在图像分类和视觉问答任务中表现出了优越性。

    Oct, 2019

  • 通过删除负样例对抗在线单类增量学习

    本研究探讨了超级在线连续学习设置，其中学习者接收随时间变化的类别分布的数据流。研究提出了一种一类增量学习设置的新方法，在 BYOL 自我监督学习方法的基础上引入额外的类原型规范化，以在单类别增量学习设置中实现强大的性能和与多类别增量学习设置中最优方法的竞争性能。

    Mar, 2022

  • 无记忆类增量学习的初始分类器权重回放

    在没有所有数据的情况下，基于初始分类器权重的归一化方法优于现有技术，在内存最小化的增量学习设置中，对于大规模数据集，它能够通过标准化初始分类器权重和预测得分来提高分类公平性 。

    Aug, 2020

  • 基于重播的连续学习在语义分割中的应用: RECALL

    研究使用生成对抗网络和网络抓取数据重现不可用的旧类数据，避免遗忘和背景类的数据分布变化，达到在连续学习中存在不同步骤和背景类分布变化的情况下更好的表现。

    Aug, 2021

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 生成式特征重放用于类增量学习

    对于神经网络中的灾难性遗忘问题和老新类别不均衡问题，本文提出了一种基于生成式特征回放和特征蒸馏的解决方案，可以不使用明显的旧任务样本，在 CIFAR-100 和 ImageNet 等数据集上实现了最先进的结果，存储空间成本低。

    Apr, 2020

  • 基于正交权重修改的生成特征重放用于持续学习

    该论文提出了一种用于设定特定任务的连续学习方法，通过增加生成预定数据和发展新的自我监督技术，得到了比传统生成回放更好的结果，并以多个数据集进行实验来说明该方法的有效性。

    May, 2020

  • 抵御类增量学习中的不平衡遗忘

    通过对回放类增量学习中发现的精度不平衡现象进行研究，我们提出了一个能够预测遗忘率较高的旧类别并提高其精度的方法，该方法可以无缝地集成到现有的回放类增量学习方法中，并通过广泛的实验证明了其有效性。

    Mar, 2024