关于增量学习的测地路径学习

CVPRApr, 2021

On Learning the Geodesic Path for Incremental Learning

Christian Simon, Piotr Koniusz, Mehrtash Harandi

TL;DR本研究通过构建低维流形来最小化当前和之前的网络响应之间的差异，从而有效地防止神经网络进行连续学习时的 “灾难性遗忘” 现象，这是一种能够高效和稳健地从连续经验中学习的重要过程。

Abstract

neural networks notoriously suffer from the problem of catastrophic forgetting, the phenomenon of forgetting the past knowledge when acquiring new knowledge. Overcoming catastrophic forgetting is of significant i

neural networks catastrophic forgetting incremental learning knowledge distillation low-dimensional manifolds

发现论文，激发创造

适应性特征融合的知识蒸馏分类增量学习

本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Apr, 2022

端到端渐进式学习

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

语义分割中的增量学习知识蒸馏

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

重新审视蒸馏和增量分类器学习

研究人类和人工神经网（ANNs）学习机制之间的差异，指出后者的 Catastrophic Forgetting 是一个重要难题。作者提出了一种动态阈值移动算法，能够成功消除这种偏差，并在 CIFAR100 和 MNIST 数据集上展示了接近最优的结果，该算法利用增量学习、知识蒸馏等解决了这个问题。

Jul, 2018

增量深度神经网络中灾难性遗忘的方法学研究

通过模拟生物学习机制，文章研究了连续学习以及其在增量深度神经网络中造成的灾难性遗忘问题，并比较了三种增量学习方法的性能。

May, 2024

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

使用生成对抗网络的增量式分类器学习

通过使用新的损失函数、简单的方法来解决分类失效和利用生成对抗网络来生成历史数据和选择代表性样本，我们解决了增量分类器学习中的灾难性遗忘问题，并在 CIFAR-100、Flower-102 和 MS-Celeb-1M-Base 数据集上进行了验证，证明了我们方法的有效性，并且生成的数据比真实图像具有更少的隐私问题。

Feb, 2018

视觉任务的类增量学习算法综合研究

该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

Nov, 2020

在线情境下的增量学习

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

基于聚类的领域增量学习

通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

Sep, 2023