Feb, 2024

PRCL: 半监督语义分割的概率表示对比学习

PDF
TL;DR通过对半监督语义分割进行对比学习取得了巨大突破，但是由于有限的注释，模型自身生成的无标签图像上的引导 inevitably 存在噪音，扰乱了无监督训练过程。为了解决这个问题，我们提出了一个强大的基于对比的 S4 框架，称为概率表示对比学习 (PRCL) 框架来增强无监督训练过程的鲁棒性。我们将逐像素表示建模为多元高斯分布的概率表示 (PR), 并通过调整模糊表示的贡献度来容忍对比学习中的不准确引导的风险。此外，我们通过收集整个训练过程中所有 PR 生成全局分布原型 (GDP)。由于 GDP 包含相同类别的所有表示的信息，它在表示中即使存在噪声也是鲁棒的，并且承载着表示的类内差异。此外，我们基于 GDP 生成虚拟负样本 (VNs) 来参与对比学习过程。在两个公开基准测试上进行的大量实验证明了我们 PRCL 框架的优越性。
semi-supervised semantic segmentationcontrastive learningprobabilistic representation contrastive learning frameworkprobabilistic representationsglobal distribution prototypes
发现论文，激发创造
  • 利用概率表示增强半监督语义分割

    本文提出了一个基于概率理论的 Probabilistic Representation Contrastive Learning（PRCL）框架，通过将像素到表示的映射建模为多维高斯分布的概率，可以调节不确定性表示的贡献，提高表示的可靠性，从而提高了语义分割的性能，并在 Pascal VOC 和 CityScapes 上进行了充分的实验验证。

    Oct, 2022

  • ProbMCL：简单的多标签视觉分类概率对比学习

    在多标签图像分类任务中，我们提出了一种名为 Probabilistic Multi-label Contrastive Learning (ProbMCL) 的新框架，通过结合有监督对比学习和混合密度网络来解决现有方法中的挑战，并在计算机视觉和医学影像领域的数据集上验证了其有效性和低计算成本。

    Jan, 2024

  • 无监督表示的原型对比学习

    该论文介绍了原型对比学习（PCL）这一无监督表示学习方法，PCL 不仅学习用于实例区分的低级特征，更重要的是它隐含地将数据的语义结构编码到了学习的嵌入空间中，该方法通过增加原型作为潜在变量来寻找最大似然估计，提出了一种基于对比学习的通用损失函数 ProtoNCE loss，此方法在多个基准测试中的表现均优于当前最先进的基于实例对比学习方法，在低资源转移学习方面有了显著的改进。

    May, 2020

  • 视频对比学习的概率表示

    本文提出了一种概率视频对比学习的自我监督表示学习方法，该方法基于混合高斯将视频剪辑呈现为正常分布并将它们组合成一个高斯分布混合物来建模整个视频分布，通过此方法我们可以避免对剪辑进行转换以生成增强剪辑视图的不必要策略，实验证明该方法在 UCF101 和 HMDB51 等最流行的基准测试上是最先进的视频表示学习方法。

    Apr, 2022

  • 多标签图像分类的语义感知双对比学习

    通过引入样本对间对比学习和原型 - 样本对比学习，提出了一种新颖的语义感知双对比学习框架，通过联合训练三个模块，准确捕捉与图像内容相关的判别性标签级特征，并在五个具有挑战性的大规模公共数据集上实验证明了该方法的有效性优于现有技术。

    Jul, 2023

  • 基于校准的双原型对比学习方法在领域泛化的语义分割中的应用

    提出了一种基于校准的双原型对比学习方法，用于减少学习类别无关特征与不同域原型之间的域差异，对于域泛化语义分割，通过不确定性引导的对比学习和加权对比学习来校准原型权重，实验证明该方法在域泛化语义分割任务上具有优越性能。

    Sep, 2023

  • 面向基于图的半监督学习的伪对比学习

    该论文提出了一种 Pseudo Contrastive Learning (PCL) 的通用框架，该框架通过生成可靠的对比对来解决生成高质量伪标签的问题，通过对负样本进行 dropout 来实现数据增强。 最终，实验证明该方法在五个真实世界的图上均优于其他普遍技术。

    Feb, 2023

  • 弱监督对比学习

    提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

    Oct, 2021

  • 半监督点云语义分割的引导点对比学习

    本文介绍了一种半监督点云语义分割方法，使用伪标签指导其损失函数，并提出了一种基于对比损失的方法来增强特征表示和模型的泛化能力。实验证明，该方法在三个数据集上都可以有效地提高预测质量。

    Oct, 2021

  • PLReMix：用伪标签松弛对抗噪音标签的对比度表示学习

    我们提出了一种端到端的 PLReMix 框架，通过引入伪标签松弛的对比损失来避免复杂的训练流程，解决了 Contrastive Representation Learning（CRL）与有监督学习的优化冲突，并采用二维高斯混合模型（GMM）同时利用语义信息和模型输出来区分干净和噪声样本。

    Feb, 2024