SelfReg: 自监督对比正则化用于领域通用化

Apr, 2021

SelfReg: 自监督对比正则化用于领域通用化

SelfReg: Self-supervised Contrastive Regularization for Domain Generalization

Daehee Kim, Seunghyun Park, Jinkyu Kim, Jaekoo Lee

TL;DR本文提出了一种基于自监督对比正则化 (SelfReg) 的领域泛化正则化方法，使用该方法可以有效解决对比学习中负采样对性能的影响，而且还提出了一种类别特定的领域扰动层 (CDPL)，使得即使只有正样本对，也能有效应用多样本混合增强技术。实验结果表明，该方法在最近的基准测试中表现出与传统技术同等的性能。

Abstract

In general, an experimental environment for deep learning assumes that the training and the test dataset are sampled from the same distribution. However, in real-world situations, a difference in the distribution between two datasets, domain shift, may occur, which becomes a major factor impeding the generalization performance of the model. The research fiel

domain generalization contrastive learning self-supervised contrastive regularization class-specific domain perturbation layer mixup augmentation

发现论文，激发创造

对比领域自适应

本文探讨了将对比自监督学习扩展到领域适应上述情形的方法，通过无标签的正负样本比较学习，进一步识别和排除潜在可能误判的负面效应，以提高领域适应任务中的性能表现。

Mar, 2021

自监督学习：逐个样本学习泛化能力

本文探讨了如何在不增加过多数据注释的情况下，利用自监督学习来实现领域泛化和适应性，结果表明该方法在三种不同的情景下有效。

Oct, 2019

自监督对比学习与自训练在语义分割的无监督领域自适应中的应用

本文提出了一种基于对比学习和自我训练的方法，该方法可以很好地应用于不同领域的实例进行语义分割，可以将语义类别在跨域上进行对齐，从而达到更好的结果。

May, 2021

渐变正则化对比学习用于连续领域适应

研究 AI 模型在连续领域适应中所遇到的领域转换和灾难性遗忘等问题，并提出了基于 Gradient Regularized Contrastive Learning 的方法来解决这些问题，实验结果表明该方法在 Digits, DomainNet and Office-Caltech 基准测试中表现优越。

Jul, 2020

对分布偏移下对比学习和自训练的互补优势

自学习和对比学习已经成为将无标签数据纳入研究中的领先技术，无论是在分布偏移（无监督领域适应）的情况下还是在不存在分布偏移（半监督学习）时。然而，尽管这些技术的流行和兼容性，它们在组合中的有效性尚未被探究。在本文中，我们对这种组合进行了系统的实证研究，发现在领域适应设置中，自学习和对比学习可以提供显著的互补优势；而在半监督学习设置中，令人惊讶的是，两种方法并不具有协同效应。通过八个分布偏移数据集的实验（如 BREEDs，WILDS），我们证明了综合方法比任一方法都可获得 3-8％的更高准确度。然后，我们在分布偏移的简化模型中对这些技术进行了理论分析，证明了对比学习产生的特征可以为自学习提供良好的初始化，进而增强收益并实现最佳性能，即使单独应用方法可能会失败。

Dec, 2023

通过自监督源域投影和多级对比学习实现广义语义分割

该研究提出了一种基于领域映射和对比学习的方法，通过自监督源域投影和多级对比学习来减少域差异并提高泛化能力，通过大量实验证明了该方法在语义分割方面具有良好的泛化能力。

Mar, 2023

语义分割的无监督对比域自适应

通过对比学习实现特征对齐，提出了一种跨领域适应的标签扩展方法，结果表明，我们的方法在 Cityscapes 数据集上的表现始终优于最先进的方法。

Apr, 2022

渐变正则化对比学习，用于连续领域适应

本研究旨在解决深度神经网络在动态环境下机器学习算法中的持续领域适应问题。为此，我们提出了 Gradient Regularized Contrastive Learning (GRCL) 并在 Digits、DomainNet 和 Office-Caltech 基准测试中证明了其在比较其他最新方法时的强大性能。

Mar, 2021

视觉域适应的可转移对比学习

本文提出了一种自我监督学习方法，即可转移对比学习（TCL），其将 SSL 和所需的跨域可转移性紧密地联系起来，并通过特定的内存库和伪标签战略对源和目标之间的跨域内部类域差异进行惩罚

Dec, 2021

对抗对比自监督学习

本文介绍了一种基于在线负样本对挖掘的自我监督深度学习范式，包括学生教师网络、正负样本对挖掘和三元组式的损失函数等，实验表明该方法可以有效地提高标签效率并在 ILSVRC-2012 上表现优异。

Feb, 2022