领域增量学习的统一方法与记忆:理论与算法
本研究提出了一种名为 DARE 的新颖 DIL 方法,通过分歧、适应和细化的三阶段训练过程,逐步将与新任务相关的表示适应到由先前任务样本所覆盖的特征空间中,并同时整合任务特定的决策边界,有效减缓了特征编码器的表示漂移,降低了多个 DIL 基准下的灾难性遗忘,并且在任务边界处防止了突发的表示漂移,使得 DIL 模型的性能得到了良好校准,并保持了对先前任务的性能。
Jun, 2024
提出了基于动态架构并采用优化策略的多领域语义分割增量学习方法,旨在解决现有分割框架在视觉地理领域差异大的数据集序列中无法迭代学习的问题。实验结果验证了该方法在德国 (Cityscapes)、美国 (BDD100k) 和印度 (IDD) 道路驾驶环境中实现了良好的增量学习效果。
Oct, 2021
本文提出了一种增量域自适应的方法,它采用了在自然语言处理中广泛使用的递归神经网络,并将它与参数化的内存库结合起来,通过每次 RNN 转移步骤进行检索和更新,以构建一个在所有域上表现良好的统一模型。实验结果表明,与 fine-tuning 单独方法相比,我们的方法表现明显更好。
Nov, 2018
在本研究中,我们考虑了只有一个来自新领域的样本的情况,称之为一次性增量学习(one-shot DIL)。通过对批量归一化层中的统计数据进行分析,我们发现了一次性增量学习的困难来源,并提出了一种关于这些统计数据的技术。通过在开放数据集上进行实验,我们证明了我们的技术的有效性。
Mar, 2024
通过无监督的领域自适应方法以及在上下文学习环境下的查询元素子集检索策略,我们研究了适应语言模型从源领域到目标领域的问题,以学习目标领域分布并通过语言建模实现任务信号的适应,从而在情感分析和命名实体识别任务中实现了显著的性能提升。
Nov, 2023
本文提出了一种方法,旨在解决连续学习中的无监督域适应问题,通过修剪实现框架来保留特定于域的知识,并使用一种基于批次标准化的度量方法进行有效推理,取得了良好的性能,同时在防止过去领域的灾难性遗忘方面显著改善。
Apr, 2023
本文提出了一种基于领域自适应的增量式学习方法,即 DA-CIL,通过多个领域的数据增强和知识蒸馏来提高在不同领域下的深度学习三维物体检测的准确性和泛化性能。实验证明,DA-CIL 在领域自适应增量学习场景下具有较好的性能。
Dec, 2022
提出了一种新的任务设置 —— 统一的语言驱动零样本领域适应 (ULDA),使得单个模型能够在没有显式域标识知识的情况下适应多样的目标领域。通过在多个视觉层次上对齐模拟特征和目标文本、保留不同区域表示之间的语义相关性以及校正模拟和真实目标视觉特征之间的偏差,该框架在两个场景下实现了竞争性的性能,展示了其优越性和泛化能力。
Apr, 2024
本文提出一种基于 EM 框架的领域感知的持续学习方法来应对在增量学习中类分布和域分布的变化问题,使用基于 von Mises-Fisher 混合模型的灵活类表示来捕获类内结构,采用内部平衡和交叉类数据的处理方式来设计双层平衡记忆,并结合蒸馏损失实现更好的稳定性和可塑性权衡。经过大量实验,表明该方法在三个基准数据集上均优于现有方法。
Apr, 2022