Apr, 2022

具有领域感知分类表示的通用增量学习

HTML
PDF
TL;DR本文提出一种基于EM框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于von Mises-Fisher混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。
发现论文，激发创造
  • 大规模增量学习

    本文提出并验证了一种纠正新旧类别数据不平衡问题的方法，利用一个线性模型矫正了全连接层的弱分类偏见，在两个大型数据集ImageNet和MS-Celeb-1M上比现有算法表现更好。

    May, 2019

  • 类增量领域自适应

    该研究提出了一种实用的域自适应范式——增量类别域自适应（Class-Incremental Domain Adaptation，CIDA），并且根据理论和实证观察，提出了一种基于样板网络的有效方法，使得在域偏移的情况下可以对目标样本进行分类，并且可以对共享的和新的目标类进行分类，其性能优于CIDA范式中的DA和CI方法。

    Aug, 2020

  • 类增量学习：基于图像分类的调查和性能评估

    本论文全面调查了现有的针对图像分类的类增量学习方法，特别是在13种类增量方法上进行了广泛的实验评估，包括多个大规模图像分类数据集上的类增量方法比较，小范围和大范围域转移的研究，以及各种网络架构的比较。

    Oct, 2020

  • 视觉任务的类增量学习算法综合研究

    该论文在构建一个统一的概念和实验框架中，研究了解决神经网络过度拟合的方法，描述了增量学习算法的六个重要属性，探讨了过去样本选择的效用，并提供了可重现性的开源存储库。

    Nov, 2020

  • 通过稀疏网络在连续学习中避免遗忘并允许前向传递

    本研究提出AFAF方法解决了class-incremental learning中，既要避免遗忘又要进行前向传递的问题，同时在处理任务间语义相似度较高时，通过任务特定组件的分配来实现选择性、有效的知识转移。实验表明，该方法能够有效提供连续学习所需的各种属性，同时在各种具有不同语义相似度的挑战性基准测试中，性能优于现有最先进方法。

    Oct, 2021

  • 交叉空间聚类与控制迁移的类增量学习

    本文提出了基于蒸馏的目标，旨在维护先前类别的准确性并使模型学习新类别。通过利用特征空间的结构，我们讨论了跨空间聚类（CSC）和控制传递（CT）两个目标。我们的实验结果表明，在两个基准数据集上，我们的方法(CSCCT)一直表现出稳定的性能提升。

    Aug, 2022

  • 关于类别增量学习中的稳定性和可塑性两难问题

    本文研究了班级迭代学习中的稳定性和可塑性之间的平衡，通过分析工具测量了特征表示的稳定性和可塑性，并发现大多数班级迭代学习算法更偏向稳定性而非可塑性，这不仅启发了新的算法，也提醒了班级迭代学习算法需要不断改进特征表示学习。

    Apr, 2023

  • 使用扩散模型进行蒸馏与回放的类增量学习

    本文提出采用预训练稳定扩散模型作为增量学习的额外数据源，并证明其可以进一步提高现有最先进的大规模数据集类增量学习方法的性能。

    Jun, 2023

  • 多变量原型表示的领域泛化增量学习

    研究了深度学习模型在使用新类别样本进行微调时面临的灾难性遗忘问题，特别关注训练和测试数据之间的领域转变。设计了一种能够记忆旧类别、适应新类别并能够可靠地对来自未见领域的对象进行分类的DGCIL方法，通过使用知识蒸馏和估计旧类别原型的漂移，结合多变量正态分布，不断适应模型特征的变化以更好地表示旧类别。经过多个基准测试实验证实了我们的说法。

    Sep, 2023

  • 多功能增量学习：面向类和领域无关的增量学习

    本研究解决了增量学习中面对类和领域未知的任务时的知识累积问题。提出了一种名为ICON的增量学习框架，结合新颖的正则化方法CAST，有效减少了已学习知识的干扰，从而更高效地吸收新知识。实验结果表明，该方法在各种场景下均表现出色，尤其是在任务随机变化时。

    Sep, 2024