通过提示梯度对齐增强领域自适应
本文提出了一种新颖的无监督领域自适应学习范式 —— 通过提示学习的领域自适应 (DAPL),通过嵌入域信息和利用预训练的视觉 - 语言模型进行分类,此方法在多个领域的基准测试数据上表现优异,并且训练效率高、易于实现。
Feb, 2022
在本文中,我们首先实验性地证明了无监督训练的视觉语言模型可以显著减少源域和目标域之间的分布差异,从而改善无监督域自适应的性能。然而,直接在下游无监督域自适应任务中部署这些模型的一个重要挑战是及时的工程技术,需要对源域和目标域的领域知识进行对齐,因为无监督域自适应的性能受到良好的领域不变表示的严重影响。我们进一步提出了一种基于提示的分布对齐方法(PDA),将领域知识融入到提示学习中。具体而言,PDA 采用了两支分支的提示调试范例,即基础分支和对齐分支。基础分支专注于将与类相关的表示集成到提示中,确保在不同类别之间进行区分。为了进一步减小领域差异,我们为源域和目标域构建特征库,并提出了图像引导特征调试(IFT)来使输入关注特征库,从而有效地将自我增强和跨域特征集成到模型中。通过这种方式,这两个分支可以相互促进,增强 VLM 在无监督域自适应中的适应性。我们在三个基准测试上进行了大量实验,证明了我们提出的 PDA 方法达到了最先进的性能。
Dec, 2023
利用大规模预训练视觉 - 语言模型的知识进行领域不可知的相互提示,通过互相对齐视觉和文本嵌入来利用领域不变的语义,并通过语义一致性损失和实例差异对齐损失进行规则化,实验证明 Domain-Agnostic Mutual Prompting(DAMP)相较于现有方法在三个无监督领域自适应基准上具有优势。
Mar, 2024
通过在无标签数据上进行句子掩码模型训练(MLM)和源标记数据上进行监督指导训练,采用自监督学习和提示模型术语分类方法,我们提出了一种叫做困难易化领域适应(FEUDA)的方法,通过训练一个自回归语言模型,从源和目标领域的标签和无标签示例中,来学习领域不变表征,以提高目标领域的分类性能。
Jan, 2024
本文提出了一种基于生成领域适应的人脸防欺骗方法,利用图像翻译的方式将目标数据转换到源域风格,再通过双重的一致性约束保证良好的分类性能和语义一致性。实验证明该方法在人脸防欺骗方面的效果明显高于现有的先进算法。
Jul, 2022
本研究通过在源域和目标域约束特征,提出一种简单高效的无监督域自适应方法,即使用无领域先验 (DAP) 正则化交叉域表示学习,这种方法在将综合数据转移到真实数据的标准评估协议中,表现出优秀的语义分割准确性,对于提高模型的分类表现具有指导意义。
Apr, 2022
该研究论文提出了一种利用点对点特征空间敌对扰动来显式训练领域不变分类器的方法,进而解决领域间较小或头部类别在语义分割中支配对齐目标的问题,并在 GAT5 -> Cityscapes 和 SYNTHIA -> Cityscapes 两个语义分割挑战领域中取得了最新的最佳表现。
Dec, 2019
本文提出了一种基于伪领域生成的领域增强领域自适应方法(DADA),通过生成与目标域差异更小的伪领域,减小跨域偏差,进而增强知识转移过程并将标签方法应用于 DADA 模型中,结果表明该模型优秀。
Feb, 2022
本文介绍了一种基于生成式联合判别器的方法,能够连续自适应多个未标记的目标领域且保护隐私,特别适用于具有长生命周期的医学学科领域,实现了对组织类型分类取得了最先进的效果。
Feb, 2023
本文提出了一种新的深度学习架构,通过自动发现视觉数据中的潜在域并利用这些信息来学习强健的目标分类器来解决不带标签数据的目标域学习问题,在公共基准测试中表现优于现有的方法。
Mar, 2021