CVPRApr, 2020

用于类增量学习的语义漂移补偿

PDF
TL;DR该研究针对增量学习设计了一种新方法，使用嵌入网络，以自然方式加入新类别而无需添加新的权重，并且通过估计特征的语义漂移来避免严重遗忘。实验结果表明，该方法表现优异且能显著减少遗忘。
发现论文，激发创造
  • 班级增量学习的要素

    研究表明，使用简单的组件和一个平衡内部和外部任务学习的损失函数组合已经可以解决神经网络在新任务上学习所导致的经典遗忘现象。同时，报道了在类增量学习中，表示品质较差是另一个使经典遗忘现象出现的原因，并通过适当的正则化程序改进了性能。在这些发现的基础上，研究结果在 CIFAR-100 和 ImageNet 上均取得了国际领先的成果，方法简单易实现。

    Feb, 2021

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 大规模遥感数据语义分割的增量学习

    本研究提出一种增量学习方法，可在不影响之前学习到的类别的情况下，学习新类别的语义分割，同时，利用记忆网络来记忆之前学习到的信息。

    Oct, 2018

  • 语义分割的增量学习技术

    本研究旨在解决深度学习架构在面临新增任务时由于灾难性遗忘导致性能下降的问题，提出了一种知识蒸馏方法来保留以前学习过的类别信息，并同时学习新类别，本文在 Pascal VOC2012 数据集上进行了实验验证其有效性。

    Jul, 2019

  • 在线情境下的增量学习

    该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

    Mar, 2020

  • 渐变语义补偿对于增量语义分割的应用

    本研究提出了一种 Gradient-Semantic Compensation (GSC) 模型，从梯度和语义的角度克服了增量语义分割中的灾难性遗忘和背景转移问题。通过重新加权梯度反向传播来平衡先前训练类别的遗忘速度，同时提出了软锐语义关系蒸馏来减轻语义方面的灾难性遗忘，并使用原型伪重新标签方法提供强大的语义引导以减轻背景转移问题。在 Pascal VOC 2012、ADE20K 和 Cityscapes 三个公共数据集上的大量实验证明了提出的 GSC 模型的有效性。

    Jul, 2023

  • 神经网络中的灾难性遗忘测量

    本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

    Aug, 2017

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • 从动态不平衡学习的角度重新考虑逐步学习

    通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

    May, 2024