CVPRFeb, 2022

构建更好的对比视图，用于孪生神经网络表示学习

PDF
TL;DR提出了 ContrastiveCrop，一种用于 Siamese 表示学习的更好对比对的生成方法，该方法采用全无监督方式提出了基于语义的目标定位策略并进一步设计了中心抑制采样来扩大裁剪区域的方差，成功提高了自我监督学习中 SimCLR，MoCo，BYOL，SimSiam 等方法的分类准确率，同时在基于 ImageNet-1K 预训练的下游检测和分割任务上取得了优异的结果。
self-supervised learningsiamese representation learningcontrastive pairsobject localizationpositive pairs
发现论文，激发创造
  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • 无监督图像翻译的多作物对比学习

    本文提出了一种新颖的基于对比学习的无配对图像翻译框架 MCCUT，通过多视图裁剪生成多样化的负样本，利用领域一致性误差函数将深度特征空间中的嵌入约束在一起，并采用 DCSE 模块来设计生成器以获得更好的结果。

    Apr, 2023

  • 从放射科医师的注视中学习更好的对比视图

    提出了一种基于医学专家注意力的新型数据增强方法 FocusContrast，它考虑疾病相关的异常信息，通过模仿医学专家的视觉注意力生成对比视图，可在膝关节 X 射线数据集的分类准确性上比现有的自监督学习方法如 SimCLR，MoCo 和 BYOL 提高了 4.0 ~ 7.0％。

    May, 2023

  • 连锁原型对比学习

    本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

    Aug, 2022

  • 多尺度对比孪生网络用于自监督图表示学习

    本文提出了一种用于学习节点表征的自监督方法，通过改进 Siamese 自蒸馏方法和多尺度对比度学习，构建局部和全局两种视图，并采用交叉网络和交换视角两个目标，最大化不同视图和网络的节点表征之间的一致性，该方法在五个真实数据集上实验，不仅取得了新的最优结果，而且优于一些半监督方法。

    May, 2021

  • 提高对比学习效果的有效组合正样本对

    在过去的几年中，对比学习在视觉无监督表示学习的成功中起到了核心作用。我们仔细审查现有的多视图方法，并提出了一种通用的多视图策略，可以提高任何对比或非对比方法的学习速度和性能。我们首先分析了 CMC 的全图范例，并通过实验证明，在小的学习率和早期训练阶段，K 个视图的学习速度可以提高 K 次。然后，我们通过混合仅采用裁剪增强的视图、采用 SwAV 多裁剪中的小尺寸视图、修改负采样来升级 CMC 的全图。得到的多视图策略被称为 ECPP（高效组合正样本对）。我们通过将 ECPP 应用于 SimCLR，并评估其对 CIFAR-10 和 ImageNet-100 的线性评估性能来调查 ECPP 的有效性。对于每个基准，我们都取得了最先进的性能。在 ImageNet-100 的情况下，ECPP 提升后的 SimCLR 优于有监督学习。

    Jan, 2024

  • LeOCLR: 利用原始图像进行对比学习视觉表征

    本论文引入了 LeOCLR（Leveraging Original Images for Contrastive Learning of Visual Representations），一种新的实例辨识方法和适应的损失函数，以保证正样本之间的共享区域在语义上是正确的，实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。 例如，在线性评估中，我们的方法在 ImageNet-1K 上比 MoCo-v2 提高了 5.1％，在迁移学习任务中也超过了其他几种方法。

    Mar, 2024

  • RegionCL：简单区域交换是否有助于对比学习？

    本文针对自我监督学习方法中图片裁剪技术的局限提出了一种叫做区域对比学习的新预处理方法，其通过最大程度利用所裁剪出的画面和其余部分来提高视觉表示的表现，并在 ImageNet，MS COCO 和 Cityscapes 等数据集上实现了最先进性能的效果。

    Nov, 2021

  • CO2: 无监督视觉表征学习的一致性对比

    该研究提出了一种新的无监督对比学习框架 CO2，它利用了模仿半监督学习中的一致性正则化来处理标签分配策略的瓶颈问题，能够提高图像分类、目标检测和语义分割等任务的视觉表示能力。

    Oct, 2020

  • 非对称式补丁采样用于对比学习

    本文提出了一种新的不对称补丁采样策略，用于对比学习，以进一步增强外观不对称性以获得更好的表示，并在 COCO 数据集上实现了最先进的物体检测和实例分割性能。

    Jun, 2023