使用扩散模型进行蒸馏与回放的类增量学习
对于神经网络中的灾难性遗忘问题和老新类别不均衡问题,本文提出了一种基于生成式特征回放和特征蒸馏的解决方案,可以不使用明显的旧任务样本,在CIFAR-100和ImageNet等数据集上实现了最先进的结果,存储空间成本低。
Apr, 2020
本论文全面调查了现有的针对图像分类的类增量学习方法,特别是在13种类增量方法上进行了广泛的实验评估,包括多个大规模图像分类数据集上的类增量方法比较,小范围和大范围域转移的研究,以及各种网络架构的比较。
Oct, 2020
本文介绍了一种新的增量知识蒸馏策略来解决Data-Free Class-Incremental Learning(DFCIL)的问题,该策略通过修改交叉熵训练和重要性加权特征蒸馏,提高了DFCIL的准确率,并在公共课程增量基准测试中表现出优异的性能。
Jun, 2021
本文提出两种用于类增量学习的新型知识传输技术:无数据生成式回放(DF-GR)和双教师信息蒸馏(DT-ID),并在 CIFAR-100 和 ImageNet 数据集上表现出性能提升。
Jun, 2021
本研究提出了一种名为稳定扩散深度生成重放(SDDGR)的新方法,它利用基于扩散的生成模型和预训练的文本到扩散网络生成逼真多样的合成图像,通过迭代优化策略生成高质量包含旧类别的图像,并采用L2知识蒸馏技术提高合成图像中先前知识的保存,并在新任务图像中利用伪标记技术对旧对象进行预测,防止其被误分类为背景元素。实验结果表明,SDDGR在各种类别增量目标检测场景中显著优于现有算法,达到了最新的技术水平。源代码将向公众提供。
Feb, 2024
我们提出了一种新的无样本增量学习方法,通过采用多分布匹配扩散模型来统一训练数据的质量,弥合不同域之间的差距,并通过选择性合成图像增强来扩展训练数据的分布,从而增强模型的可塑性和最终组件的性能,在增量训练期间提升模型的稳定性,实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。
Mar, 2024
通过使用预训练的文本到图像扩散模型生成未来类别的合成图像并使用它们训练特征提取器,我们提出的方法改进了无典范类增量学习的最新方法,特别是在只包含少量类别的最困难的情况下。此外,我们还表明使用未来类别的合成样本比使用不同类别的真实数据能够实现更高的性能,为增量学习的更好和更低成本的预训练方法铺平了道路。
Apr, 2024
该论文介绍了一种名为Data-Free Generative Replay (DFGR)的新方法,其用于实现无数据训练生成器并解决图像分类中的数据不平衡问题,在持续学习的过程中取得了显著的结果。
Jun, 2024
本研究解决了类增量学习中的灾难性遗忘问题,特别是在使用预训练模型的情况下。提出了一种新方法,通过仅保留每个类别的单个样本并应用简单的梯度约束,显著提高了学习性能。实验结果表明,所提方法在低计算成本下能达到竞争力的效果。
Aug, 2024