领域增量学习的统一方法与记忆:理论与算法
通过装备分类器,使其具备类相似性度量作为学习参数,通过Mahalanobis相似性计算来鼓励学习与这些额外参数无缝连续学习骨干表示,我们提出了一种基于参数指数移动平均值的方法来更好地进行知识蒸馏,展示了现有的持续学习算法在多个分布下容易忘记,而我们的方法意味着当面对来自不同领域的新任务时,在DomainNet和OfficeHome等具有挑战性的数据集上准确度可以提高高达10%
Mar, 2022
本文提出一种基于EM框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题,使用基于von Mises-Fisher混合模型的灵活类表示来捕获类内结构,采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆,并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验,表明该方法在三个基准数据集上均优于现有方法。
Apr, 2022
本文提出一种名为ProCA的原型引导的连续适应方法,解决了具有挑战性的Class-Incremental Unsupervised Domain Adaptation (CI-UDA)问题,该问题包括标注源域包含所有类,但是未标注目标域逐步增加类的情况。通过标签原型识别和基于原型的对齐和回放两种策略,ProCA能够有效地将源模型适应到这个增量式目标领域中。
Jul, 2022
本文提出了一种模型无关的、能够将适应和泛化结合起来的学习方法CoDAG,主要解决无监督连续域漂移学习的三个问题,即适应当前域、泛化到看不见的域,以及防止遗忘先前看到的域,并在多个基准数据集上展示了其有效性和鲁棒性。
Mar, 2023
本文提出了一种方法,旨在解决连续学习中的无监督域适应问题,通过修剪实现框架来保留特定于域的知识,并使用一种基于批次标准化的度量方法进行有效推理,取得了良好的性能,同时在防止过去领域的灾难性遗忘方面显著改善。
Apr, 2023
本研究提出了一种新的无监督域增量学习识别任务的流程,该流程包括从原始数据中获取基础嵌入,根据它们与每个聚类中心的相似度获取最近的点,使用这些点训练增量任务分类器,并通过任务分类器和漂移检测器设计了一种算法来决定何时在线学习新任务。
Jun, 2023
这篇论文提出了一种针对无监督在线普通持续学习的对比学习增强内存使用的新方法,通过定义和使用流依赖的数据增强及实现技巧,提升了持续学习中的遗忘问题,实现了与有监督方法相媲美的最新结果,为持续学习提供了有希望的策略。
Sep, 2023
本研究提出了一种名为交叉领域连续学习(CDCL)的新方法,在一个紧凑的卷积网络中结合了跨任务关注机制,实现了对先前任务特征的对齐,并在相关领域之间进行了无监督的交叉领域学习(UDA)。通过使用一种任务内特定的伪标签方法,确保了有标签和无标签样本的准确输入对,从而增强了学习过程。本方法在公开的UDA数据集上进行了广泛实验,显示出在交叉领域连续学习挑战上的良好性能。此外,本研究提出了增量思想,为该领域的进展做出了贡献。
Feb, 2024
本研究解决了增量学习中面对类和领域未知的任务时的知识累积问题。提出了一种名为ICON的增量学习框架,结合新颖的正则化方法CAST,有效减少了已学习知识的干扰,从而更高效地吸收新知识。实验结果表明,该方法在各种场景下均表现出色,尤其是在任务随机变化时。
Sep, 2024