ICCVJun, 2021

Always Be Dreaming: 无数据增量学习的新方法

PDF
TL;DR本文介绍了一种新的增量知识蒸馏策略来解决 Data-Free Class-Incremental Learning（DFCIL）的问题，该策略通过修改交叉熵训练和重要性加权特征蒸馏，提高了 DFCIL 的准确率，并在公共课程增量基准测试中表现出优异的性能。
computer visioncatastrophic forgettingincremental learningdata-free class-incremental learningdistillation strategy
发现论文，激发创造
  • 针对不平衡数据的无数据生成式重放增量学习

    该论文介绍了一种名为 Data-Free Generative Replay (DFGR) 的新方法，其用于实现无数据训练生成器并解决图像分类中的数据不平衡问题，在持续学习的过程中取得了显著的结果。

    Jun, 2024

  • 无数据生成回放的双教师班级增量学习

    本文提出两种用于类增量学习的新型知识传输技术：无数据生成式回放（DF-GR）和双教师信息蒸馏（DT-ID），并在 CIFAR-100 和 ImageNet 数据集上表现出性能提升。

    Jun, 2021

  • 使用扩散模型进行蒸馏与回放的类增量学习

    本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

    Jun, 2023

  • 零数据增量学习的类印象

    提出了一种新型的、无需实际数据的分类增量学习框架，采用数据合成的方式生成虚拟数据大大缓解了灾难性遗忘现象，采用余弦归一化交叉熵损失、边际损失和领域对比损失来优化模型的分类性能，将该方法与现有方法进行比较实验，并在诊断心脏超声图像方面取得了很好的效果。

    Jun, 2022

  • 基于扩散生成记忆的无数据联邦类增量学习

    本文提出一种新颖的无数据的联邦类增量学习框架，使用扩散模型生成稳定、高质量的图像，通过设计新的平衡采样器、信息论的基于熵的采样过滤技术以及与基于特征的正则化项整合的知识蒸馏，来减轻灾难性遗忘和改善基于联邦学习的智能模型的准确性。

    May, 2024

  • 面向未来的班级增量学习

    通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器，我们提出的方法改进了无典范类增量学习的最新方法，特别是在只包含少量类别的最困难的情况下。此外，我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能，为增量学习的更好和更低成本的预训练方法铺平了道路。

    Apr, 2024

  • 联邦视觉任务中缓解灾难性遗忘的无数据方法

    本文提出了一种面向联邦类增量学习的框架，利用生成模型从过去的分布中合成样本，以减轻深度学习模型在训练新数据时遗忘以前学到的信息的问题，同时解决了隐私和资源限制等联邦学习的独特复杂性，通过在多个数据集上进行广泛实验，相较于现有基准算法，我们展示了显著的改进。

    Nov, 2023

  • R-DFCIL: 基于关系引导的数据无关类增量学习表征学习

    本文提出了一种基于关系指导的表征学习方法，用于解决数据自由的类增量学习（DFCIL）中出现的遗忘问题，并展示了其在三个数据集上实现了新的最优性能。

    Mar, 2022

  • 基于熵正则化的零数据重播的小样本类增量学习

    本研究提出了一种基于数据回放的少样本类增量学习方法，并研究了使用生成器产生数据以解决存储、回放旧数据的隐私问题的技术，同时提出使用熵正则化来增加不确定性样本的有效性，并通过实验结果证明了该方法的可行性和有效性。

    Jul, 2022

  • 生成式特征重放用于类增量学习

    对于神经网络中的灾难性遗忘问题和老新类别不均衡问题，本文提出了一种基于生成式特征回放和特征蒸馏的解决方案，可以不使用明显的旧任务样本，在 CIFAR-100 和 ImageNet 等数据集上实现了最先进的结果，存储空间成本低。

    Apr, 2020