Apr, 2024

面向未来的班级增量学习

PDF
TL;DR通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器，我们提出的方法改进了无典范类增量学习的最新方法，特别是在只包含少量类别的最困难的情况下。此外，我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能，为增量学习的更好和更低成本的预训练方法铺平了道路。
exemplar-free class incremental learningfrozen feature extractorspre-trained text-to-image diffusion modelsynthetic imagesstate-of-the-art methods
发现论文，激发创造
  • 零数据增量学习的类印象

    提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

    Jun, 2022

  • FeTrIL: 无模板增量学习特征翻译

    介绍一种将固定特征提取器和伪特征生成器相结合的方法，以改善稳定性和可塑性之间的平衡，并在三个具有挑战性的数据集上表现出优异的性能。

    Nov, 2022

  • 生成式特征重放用于类增量学习

    对于神经网络中的灾难性遗忘问题和老新类别不均衡问题，本文提出了一种基于生成式特征回放和特征蒸馏的解决方案，可以不使用明显的旧任务样本，在 CIFAR-100 和 ImageNet 等数据集上实现了最先进的结果，存储空间成本低。

    Apr, 2020

  • Always Be Dreaming: 无数据增量学习的新方法

    本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。

    Jun, 2021

  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 使用扩散模型进行蒸馏与回放的类增量学习

    本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

    Jun, 2023

  • 特征扩展与增强的压缩对于类别增量学习的应用

    我们提出了一种新算法，通过使用我们的 Rehearsal-CutMix 方法在压缩过程中切割和混合之前类别样本的图像补丁与新图像，来增强先前类别知识的压缩。在 CIFAR 和 ImageNet 数据集上进行的大量实验证明，我们的方法在不同的增量学习评估协议下始终优于现有技术。

    May, 2024

  • 端到端渐进式学习

    一项新的增量学习方法使用少量的示例集合来学习深层神经网络，解决了深度学习中的灾难性忘记问题，在 CIFAR-100 和 ImageNet（ILSVRC 2012）图像分类数据集上取得了最先进的成果。

    Jul, 2018

  • 类增量学习：基于图像分类的调查和性能评估

    本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在 13 种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

    Oct, 2020

  • 增量表示的非示例无关类别增量学习

    通过使用简单的递增表示 (IR) 框架，使用数据增强覆盖合适的特征空间并使用单一的 L2 空间维护损失来防止模型遗忘，我们提出了一个用于非示例类增量学习 (efCIL) 的方法，实现在合并新类知识的同时保留先前学到的信息，而无需存储任何旧类示例 (样本)。在 CIFAR100、TinyImageNet 和 ImageNetSubset 数据集上广泛实验证明，我们提出的 IR 方法在性能上与其他方法相媲美，同时显著防止模型遗忘。

    Mar, 2024