面向领域无关性对比学习
本文介绍了一种自主学习方法的无监督域自适应技术,即 Domain Confused Contrastive Learning(DCCL),旨在通过域拼图来构建源域和目标域之间的桥梁,并在适应后保留有区分性的表示。此外,作者还探讨了在进行其他数据增强时,对比学习是否有助于 UDA。实验表明,DCCL 的表现显著优于基线。
Jul, 2022
该论文提出了一种在无监督领域适应的情况下,采用自我监督学习的对比方法以减少培训和测试集之间的领域差异,实现了简单而有效的领域对齐框架 CDCL,并使用伪标签进行评估, 这种方法可以应用于无需数据源的情况并在图像分类方面取得了最先进的性能。
Jun, 2021
本文探讨了一种实际的领域自适应任务,称为无源域自适应(SFUDA),在此任务中,源预训练模型在没有访问源数据的情况下适应于目标域。我们介绍了一种新的 SFUDA 范例 Divide and Contrast(DaC),使用自适应对比学习框架,通过预测的置信度将目标数据分为类似源域和特定于目标域的样本,并针对每个组别进行调整目标,以在全局和局部层面上提高性能
Nov, 2022
使用 DACs 方法,混合源领域的标签数据和目标领域的伪标签数据进行训练可以有效地解决基于卷积神经网络的语义分割模型在新领域上通用性不佳的问题。
Jul, 2020
本文介绍了将对比学习扩展到更广泛的数据变换集合,并提出了一种满足所有对比公式要求的实用构造,其中所有噪声对比公式的组件都被表述为一定的广义数据变换选择(GDTs),通过对视频数据进行分析,得出了在学习有效视频表示时对某些变换具有不变性和对其他变换具有特征性的关键作用,这一结果大幅改善了多个学习基准,甚至超过了监督预训练。
Mar, 2020
本文提出了一种基于领域自适应的增量式学习方法,即 DA-CIL,通过多个领域的数据增强和知识蒸馏来提高在不同领域下的深度学习三维物体检测的准确性和泛化性能。实验证明,DA-CIL 在领域自适应增量学习场景下具有较好的性能。
Dec, 2022
本文提出了一种基于对比学习和自我训练的方法,该方法可以很好地应用于不同领域的实例进行语义分割,可以将语义类别在跨域上进行对齐,从而达到更好的结果。
May, 2021
在这项工作中,我们介绍了一种用于 CLIP 的样本高效领域适应策略,称为 Domain Aligned CLIP (DAC),它在不对主模型进行全量微调的情况下,改进了目标分布上的内部模态对齐和跨模态对齐。通过引入一个轻量级的适配器和一个简单的框架调节类文本嵌入,DAC 提供了一个计算效率高、抗分布转移性强且不改变 CLIP 参数的少样本微调框架,在 11 个广泛使用的图像分类任务中,以 2.3% 的提升应对 16 个样本分类挑战,并在 4 个鲁棒性基准上展现出竞争性能。
Nov, 2023