MMSep, 2023

基于校准的双原型对比学习方法在领域泛化的语义分割中的应用

PDF
TL;DR提出了一种基于校准的双原型对比学习方法，用于减少学习类别无关特征与不同域原型之间的域差异，对于域泛化语义分割，通过不确定性引导的对比学习和加权对比学习来校准原型权重，实验证明该方法在域泛化语义分割任务上具有优越性能。
prototypical contrastive learningclass-wise domain-invariant featuresdomain discrepancycalibration-based dual prototypical contrastive learningdomain generalization semantic segmentation
发现论文，激发创造
  • 通过自监督源域投影和多级对比学习实现广义语义分割

    该研究提出了一种基于领域映射和对比学习的方法，通过自监督源域投影和多级对比学习来减少域差异并提高泛化能力，通过大量实验证明了该方法在语义分割方面具有良好的泛化能力。

    Mar, 2023

  • 双向对比学习用于领域自适应语义分割

    提出了一种新颖的无监督领域自适应方法，通过像素 - 原型对比学习框架进行标记迁移，学习跨域不变且具有区分性的特征，生成动态伪标签来建立对比学习训练对，并逐渐调整原型的领域偏差来提高其性能。

    Jul, 2022

  • PromptSync：通过分类感知的原型对齐和判别消除视觉语言模型中的领域差距

    通过分类原型对齐和提示同步来提高视觉语言模型的零样本泛化能力和处理类别不平衡问题，并在测试中取得明显优于其他方法的结果。

    Apr, 2024

  • PRCL: 半监督语义分割的概率表示对比学习

    通过对半监督语义分割进行对比学习取得了巨大突破，但是由于有限的注释，模型自身生成的无标签图像上的引导 inevitably 存在噪音，扰乱了无监督训练过程。为了解决这个问题，我们提出了一个强大的基于对比的 S4 框架，称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外，我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息，它在表示中即使存在噪声也是鲁棒的，并且承载着表示的类内差异。此外，我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。

    Feb, 2024

  • 无监督表示的原型对比学习

    该论文介绍了原型对比学习（PCL）这一无监督表示学习方法，PCL 不仅学习用于实例区分的低级特征，更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中，该方法通过增加原型作为潜在变量来寻找最大似然估计，提出了一种基于对比学习的通用损失函数 ProtoNCE loss，此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法，在低资源转移学习方面有了显著的改进。

    May, 2020

  • ProtoGMM：基于多原型高斯混合的领域自适应语义分割模型

    通过利用 GMM 模型，我们提出了一种多原型对比学习的领域自适应语义分割方法，以实现源域和目标域之间的领域对齐，并在 UDA 基准测试中展示出了方法的有效性。

    Jun, 2024

  • 多标签图像分类的语义感知双对比学习

    通过引入样本对间对比学习和原型 - 样本对比学习，提出了一种新颖的语义感知双对比学习框架，通过联合训练三个模块，准确捕捉与图像内容相关的判别性标签级特征，并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。

    Jul, 2023

  • 基于补丁对比学习的语义分割领域自适应

    本文介绍了一种新的无监督和半监督领域适应方法，利用对比学习通过对跨域中的结构相似标签块的特征进行对齐来弥合域差距，以便更容易训练和提高性能。此方法在两个具有挑战性的领域适应分割任务中始终优于现有的无监督和半监督方法，特别是当目标域注释数量很小时。

    Apr, 2021

  • 对比、风格化和适应：用于域自适应语义分割的无监督对比学习框架

    本文提出使用有别于过往方法的对比公式来实现 CONtrastive FEaTure and pIxel alignment (CONFETI)，并使用类别间跨领域信息将像素级和特征级（采用像素原型对比方法）的对齐相结合，以用于解决合成和真实世界数据集之间的领域缺口问题，在 DeepLabV2 上优于现有最先进方法。

    Jun, 2023

  • 通过对齐、均匀性和相关性重新思考原型对比学习

    本文引入 PAUC 方法来学习基于原型的对比表示，以优化下游任务中需要强语义信息的有意义的表示。在各个基准测试中，实验结果证明了我们的方法在提高对比原型表示的质量方面的有效性，并在 ImageNet-100 数据集上将分类下游任务的性能提高了 2.96％，在 ImageNet-1K 数据集上提高了 2.46％。

    Oct, 2022