适应性特征融合的知识蒸馏分类增量学习

CVPRApr, 2022

适应性特征融合的知识蒸馏分类增量学习

Class-Incremental Learning by Knowledge Distillation with Adaptive Feature Consolidation

Minsoo Kang, Jaeyoo Park, Bohyung Han

TL;DR本论文提出了基于深度神经网络的一种新型增量学习方法，该方法基于知识蒸馏并采用一种规范的方式来有效地维护旧模型的表示，以适应新任务，克服了数据访问受限导致的灾难性遗忘问题，并在标准数据集上实现了显著的准确性改进。

Abstract

We present a novel class incremental learning approach based on deep neural networks, which continually learns new tasks with limited memory for storing examples in the previous tasks. Our algorithm is based on knowledge distillation and provides a principled way to maintain the repres

incremental learning deep neural networks knowledge distillation feature map catastrophic forgetting

发现论文，激发创造

语义分割中的增量学习知识蒸馏

本文着重介绍了如何应用知识蒸馏技术来处理增量学习的语义分割问题。经过在 Pascal VOC2012 和 MSRC-v2 数据集上的实验，该方法在多个增量学习场景中表现出显著的有效性。

Nov, 2019

M2KD: 多模型、多层次知识蒸馏用于增量学习

本文提出一种多模型和多级别知识蒸馏策略，通过直接利用之前的模型快照和辅助蒸馏等方式，在保留旧类知识的同时提升整体性能，有效解决了旧类性能下降的问题。

Apr, 2019

端到端渐进式学习

一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

Jul, 2018

基于知识融合的有限数据类别增量在线学习

提出一种新的方法帮助在有限数据情况下进行类别增量的在线学习。该方法使用元学习框架和知识整合来解决灾难性遗忘和过拟合等问题。该方法在多个基准测试中显著优于其他方法。

Jun, 2021

在类增量学习中维护差异性和公正性

本文提出了一种基于知识蒸馏和权重对齐的类增量学习方法，能够有效减轻灾难性遗忘，提高模型性能，实验证明此方法在几种数据集上明显优于现有最先进方法。

Nov, 2019

大规模增量学习

本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集 ImageNet 和 MS-Celeb-1M 上比现有算法表现更好。

May, 2019

重新审视蒸馏和增量分类器学习

研究人类和人工神经网（ANNs）学习机制之间的差异，指出后者的 Catastrophic Forgetting 是一个重要难题。作者提出了一种动态阈值移动算法，能够成功消除这种偏差，并在 CIFAR100 和 MNIST 数据集上展示了接近最优的结果，该算法利用增量学习、知识蒸馏等解决了这个问题。

Jul, 2018

元学习增量目标检测

该研究提出了一种元学习方法，以优化共享增量任务信息的模型梯度并通过元学习梯度预处理来减少遗忘和最大化知识转移，从而提高目标检测中的增量学习性能。

Mar, 2020

在线情境下的增量学习

该论文提出了一种增量学习框架，针对在线学习场景下的两个主要障碍，即新类的学习和旧类的新观测值的变化。通过引入修改的交叉蒸馏损失和两步学习技术来解决问题（1），并提供通过更新范例集合减轻问题（2）的简单而有效的方法，并在基于 Food-101 数据集的在线食品图像分类的真实应用中展示了该方法的性能。

Mar, 2020

SRIL: 用于类增量学习的选择性正则化

本文提出了一种选择性正则化方法，使用偏心特征蒸馏方法来判断是否执行模式完成或模式分离，并调节如何转移到前一模型的权重以保持先前知识，该方法在 CIFAR-100，ImageNet-Subset 和 ImageNet-Full 数据集上超越了现有方法的性能。

May, 2023