ICMLJun, 2024

渐进分歧的无缝适应：一种新颖的领域增量学习方法

PDF
TL;DR本研究提出了一种名为 DARE 的新颖 DIL 方法，通过分歧、适应和细化的三阶段训练过程，逐步将与新任务相关的表示适应到由先前任务样本所覆盖的特征空间中，并同时整合任务特定的决策边界，有效减缓了特征编码器的表示漂移，降低了多个 DIL 基准下的灾难性遗忘，并且在任务边界处防止了突发的表示漂移，使得 DIL 模型的性能得到了良好校准，并保持了对先前任务的性能。
发现论文，激发创造
  • 多样化匹配：一种面向领域适应的目标检测表示学习范式

    该研究介绍了一种针对目标检测的新型无监督域适应方法，通过域多样性和多域不变表示学习两个阶段来缓解像素级适应不完美和特征级适应带来的源偏差歧视。该方法在各种数据集上 mAP 平均精度方面的表现优于现有技术达到了 3%~11% 的大幅度提升。

    May, 2019

  • 克服在线连续学习中的领域漂移

    本文提出了一种名为 Drift-Reducing Rehearsal (DRR) 的新型排练策略，以减轻连续领域漂移并在在线持续学习中实现最先进的性能。

    May, 2024

  • 基于聚类的领域增量学习

    通过使用基于在线聚类的方法解决连续学习中的灾难性遗忘问题，成功地应用于域增量学习，并展示了这种方法在真实数据集上的有效性及与最先进方法的优越性能。

    Sep, 2023

  • DA-CIL: 领域自适应，增量式的三维物体检测

    本文提出了一种基于领域自适应的增量式学习方法，即 DA-CIL，通过多个领域的数据增强和知识蒸馏来提高在不同领域下的深度学习三维物体检测的准确性和泛化性能。实验证明，DA-CIL 在领域自适应增量学习场景下具有较好的性能。

    Dec, 2022

  • 具有领域感知分类表示的通用增量学习

    本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题，使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构，采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆，并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验，表明该方法在三个基准数据集上均优于现有方法。

    Apr, 2022

  • 多变量原型表示的领域泛化增量学习

    研究了深度学习模型在使用新类别样本进行微调时面临的灾难性遗忘问题，特别关注训练和测试数据之间的领域转变。设计了一种能够记忆旧类别、适应新类别并能够可靠地对来自未见领域的对象进行分类的 DGCIL 方法，通过使用知识蒸馏和估计旧类别原型的漂移，结合多变量正态分布，不断适应模型特征的变化以更好地表示旧类别。经过多个基准测试实验证实了我们的说法。

    Sep, 2023

  • 增量式对抗性领域自适应技术在不断变化环境中的应用

    通过敌对性劫持方法和生成式对抗网络，实现增量自适应学习，从而改进模型对环境变化的适应，实验证明该方法比直接单步对齐方法更优，在移动机器人等应用场景中有更好的适用性。

    Dec, 2017

  • 无监督域适应中 DIRT-T 方法的应用

    通过集群假设的视角，该研究提出了两个新的模型：结合领域对抗训练和对集群假设违反的惩罚的虚拟敌对领域自适应（VADA）模型以及采用自然梯度步骤进一步减小集群假设违反的 Decision-boundary 迭代细化训练与教师（DIRT-T）模型。广泛的实证结果表明，这两个模型的组合大大提高了数字，交通标志和 Wi-Fi 识别领域自适应基准的最新性能。

    Feb, 2018

  • 一次性域增量学习

    在本研究中，我们考虑了只有一个来自新领域的样本的情况，称之为一次性增量学习（one-shot DIL）。通过对批量归一化层中的统计数据进行分析，我们发现了一次性增量学习的困难来源，并提出了一种关于这些统计数据的技术。通过在开放数据集上进行实验，我们证明了我们的技术的有效性。

    Mar, 2024

  • 渐变正则化对比学习用于连续领域适应

    研究 AI 模型在连续领域适应中所遇到的领域转换和灾难性遗忘等问题，并提出了基于 Gradient Regularized Contrastive Learning 的方法来解决这些问题，实验结果表明该方法在 Digits, DomainNet and Office-Caltech 基准测试中表现优越。

    Jul, 2020