CVPRNov, 2020

自监督视觉预训练的密集对比学习

PDF
TL;DR本文介绍了一种基于像素的密集自监督学习方法，通过考虑局部特征之间的对应关系，实现了对密集预测任务的有效优化，包括物体检测，语义分割和实例分割。与基线方法 MoCo-v2 相比，该方法仅引入了微不足道的计算开销，但表现出了更好的性能。
self-supervised learningdense prediction taskspixel-level predictioncontrastive learningsemantic segmentation
发现论文，激发创造
  • 自监督视觉表征学习中的密集语义对比

    本文提出了一种密集的语义对比学习框架，用于多颗粒度表示学习，以模拟语义类别决策边界以满足下游的密集预测任务，实验证明我们的模型优于现有的方法，包括目标检测、语义分割和实例分割。

    Sep, 2021

  • 对比检测的高效视觉预训练

    引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

    Mar, 2021

  • 密集预测任务的多级对比学习

    本文介绍了一种名为 Multi-Level Contrastive Learning for Dense Prediction Task (MCL) 的自监督学习方法，该方法通过实现一种装配多尺度图像的贡献任务，显式地编码绝对位置和比例信息，从而使神经网络能够学习区域语义表示。实验表明，MCL 在各种数据集上始终优于最新的现有方法。

    Apr, 2023

  • 使用局部对比损失的自监督学习，用于检测和语义分割

    提出了一种自监督学习方法，适用于对象检测和语义分割等半全局任务，通过在训练期间最小化像素级的本地对比损失（LC-loss），在自学习特征中强制实现对变换后的同一图像的相应图像位置之间的本地一致性，可将 LC-loss 添加到现有的自监督学习方法中，并在 COCO、PASCAL VOC 和 CityScapes 数据集上评估 SSL 方法，结果比现有的先进自监督学习方法在 COCO 对象检测、PASCAL VOC 检测和 CityScapes 分割等任务上分别提高了 1.9％，1.4％和 0.6％。

    Jul, 2022

  • 自我传播：探索像素级一致性用于无监督视觉表示学习

    本文提出了基于像素级别前提任务来学习密集特征表示的方法，并使用此方法在目标检测和语义分割数据集上超越了目前最好的方法

    Nov, 2020

  • 对比学习用于标签少的语义分割

    本文提出了一种基于对比度学习的语义分割训练策略，使用像素级和标签基础对比损失的方法，能够在减少标记数据的情况下提高性能，并通过 Cityscapes 和 PASCAL VOC 2012 数据集的实验证明了该方法的有效性。

    Dec, 2020

  • 密集视觉表示的无监督学习

    本文提出了一种名为 VADeR 的无监督学习方法，通过像素级对比学习来学习像素级别的视图无关的密集表示，该方法在多个密集预测任务中优于 ImageNet 监督预训练和强无监督基线。

    Nov, 2020

  • 监督对比学习

    本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

    Apr, 2020

  • HoughCL：在密集自监督学习中找到更好的正样本对

    本文介绍了一种基于 Hough 空间的对比学习方法，可以实现对于密集预测任务的图像级自我监督学习的表征有效性，并且相对于之前的方法，能够更好地应对背景混杂和异常值问题。

    Nov, 2021

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021