Sep, 2023

多变量原型表示的领域泛化增量学习

PDF
TL;DR研究了深度学习模型在使用新类别样本进行微调时面临的灾难性遗忘问题，特别关注训练和测试数据之间的领域转变。设计了一种能够记忆旧类别、适应新类别并能够可靠地对来自未见领域的对象进行分类的 DGCIL 方法，通过使用知识蒸馏和估计旧类别原型的漂移，结合多变量正态分布，不断适应模型特征的变化以更好地表示旧类别。经过多个基准测试实验证实了我们的说法。
发现论文，激发创造
  • 自主预训练与原型学习的逐类增量学习

    通过分析类增量学习中灾难性遗忘的原因，我们提出了一个两阶段学习框架，其中包括一个固定编码器和一个逐步更新原型分类器。我们的方法不依赖于保留的旧类别样本，是一种非范例基于的 CIL 方法。在公共数据集上的实验证明，我们的方法在保留每类 5 个示例和 10 个阶段递增设置下，比最先进的范例基于方法在 CIFAR-100 上提高了 18.24%，在 ImageNet100 上提高了 9.37%。

    Aug, 2023

  • 通过深度模型巩固实现类增量学习

    本文提出了一个名为 Deep Model Consolidation（DMC）的类增量学习范式，它通过利用公共可用的无标签辅助数据，将训练数据集中的已知类和未知类分别训练成不同的模型，然后通过新型的双重蒸馏训练目标结合两个模型，从而解决了增量学习中的 “灾难性遗忘” 问题，并在单头 IL 设置中，相比于现有技术，显著提升了图像分类和物体检测的性能。

    Mar, 2019

  • DA-CIL: 领域自适应，增量式的三维物体检测

    本文提出了一种基于领域自适应的增量式学习方法，即 DA-CIL，通过多个领域的数据增强和知识蒸馏来提高在不同领域下的深度学习三维物体检测的准确性和泛化性能。实验证明，DA-CIL 在领域自适应增量学习场景下具有较好的性能。

    Dec, 2022

  • 图像分类的内存高效类增量学习

    本研究针对类增量学习时可能出现的 “灾难性遗忘” 问题，提出了一种记忆资源高效利用的样本保存方案，并结合一种主副样本协作学习方案，以缓解样本来源、质量不同带来的问题。实验结果表明该方案在类增量学习中具有较好的性能表现。

    Aug, 2020

  • 具有领域感知分类表示的通用增量学习

    本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

    Apr, 2022

  • DiffClass: 基于扩散的类增量学习

    我们提出了一种新的无样本增量学习方法，通过采用多分布匹配扩散模型来统一训练数据的质量，弥合不同域之间的差距，并通过选择性合成图像增强来扩展训练数据的分布，从而增强模型的可塑性和最终组件的性能，在增量训练期间提升模型的稳定性，实验证明这种方法优于之前的无样本增量学习方法并达到了最先进的性能。

    Mar, 2024

  • 从动态不平衡学习的角度重新考虑逐步学习

    通过数据不平衡的角度来分析深度神经网络在连续学习新概念时容易出现灾难性遗忘问题，提出了一种名为 Uniform Prototype Contrastive Learning (UPCL) 的方法，通过学习均匀且紧凑的特征来解决动态不平衡问题，并通过在多个基准数据集上的实验验证了其在性能上的优越性。

    May, 2024

  • 面向非样本半监督类增量学习

    创新性地提出了一种非示例的半监督类增量学习框架，通过对比学习和半监督的增量原型分类器，使模型能够逐步从部分标记的新数据中学习，同时保持旧类别的知识。

    Mar, 2024

  • 基于标签生成的类增量学习

    本文提出了一种新的类增量学习方法（VAG），通过将类增量学习视为一个连续标签生成问题，利用预先训练模型的可推广表达来减少灾难性遗忘，并利用词汇表的稀疏性来聚焦生成，同时通过使用标签语义来创建伪重放样本。实验结果表明，VAG 方法的表现优于基线方法。

    Jun, 2023

  • 渐进分歧的无缝适应：一种新颖的领域增量学习方法

    本研究提出了一种名为 DARE 的新颖 DIL 方法，通过分歧、适应和细化的三阶段训练过程，逐步将与新任务相关的表示适应到由先前任务样本所覆盖的特征空间中，并同时整合任务特定的决策边界，有效减缓了特征编码器的表示漂移，降低了多个 DIL 基准下的灾难性遗忘，并且在任务边界处防止了突发的表示漂移，使得 DIL 模型的性能得到了良好校准，并保持了对先前任务的性能。

    Jun, 2024