从朋友那儿获取帮助：最近邻对比学习视觉表示

ICCVApr, 2021

从朋友那儿获取帮助：最近邻对比学习视觉表示

With a Little Help from My Friends: Nearest-Neighbor Contrastive Learning of Visual Representations

Debidatta Dwibedi, Yusuf Aytar, Jonathan Tompson, Pierre Sermanet, Andrew Zisserman

TL;DRNNCLR 是一种基于最近邻对比学习的自监督学习算法，将数据集中最近邻作为正样本而不是图像的不同视角，能够提供比预定义的变换更多的语义变化，达到了在 ImageNet 分类和迁移学习基准测试中超越现有先进方法的效果。此外，该方法的鲁棒性能更好，对于数据变换的依赖性更小。

Abstract

self-supervised learning algorithms based on instance discrimination train encoders to be invariant to pre-defined transformations of the same instance. While most methods treat different views of the same image

self-supervised learning instance discrimination nearest-neighbor contrastive learning imagenet classification transfer learning

发现论文，激发创造

软化邻域：一种正对比视觉表示学习中的支持者

本文重新思考了对比学习方法中二元实例判别的不足之处，提出了基于相关实例（即软近邻）的对比学习方法（SNCLR），该方法有效地提高了 VIT 和 CNN 编码器中的特征表示，从图像分类、目标检测和实例分割三个标准视觉识别基准方面得到了验证。

Mar, 2023

pNNCLR：用于基于对比学习的无监督表示学习问题的随机伪邻域

通过引入伪最近邻和平滑权重更新方法，改进了基于最近邻的自监督学习方法，提升了性能。

Aug, 2023

弱监督对比学习

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

来自未标记视频的最近邻内部对比学习

该研究介绍了一种叫做 Inter-Intra Video Contrastive Learning (IIVCL) 的方法，利用来自全局空间的最近邻视频作为额外的正对。该方法提高了正关键图的多样性，并引入了一个更松散的相似性概念，扩展到了视频甚至跨类边界。在一系列视频任务上，性能得到了提高。

Mar, 2023

MNN：混合最近邻算法用于自监督学习

通过引入最近邻样本和图像混合操作，该研究提出了一种名为 MNN 的简单自监督学习框架，优化了最近邻样本对正样本语义的影响，展示了在四个基准数据集上出色的泛化性能和训练效率。

Nov, 2023

视觉表示对比学习的简单框架

SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

邻域对比学习用于新类别发现

本研究提出了一种名为 NCL 的新框架，旨在学习具有判别性的表示，从而创建一个用于聚类性能的新类别发现（NCD）任务，其中，利用特征提取器生成的表示来检索和聚合伪正对，虽然大多数实例很容易通过网络进行区分，但我们通过在特征空间中混合标记和未标记的样本来生成难以区分的样本。实验证明，这两个组成部分显著提高了聚类性能，并使我们的模型在 CIFAR-100 和 ImageNet 上的聚类准确性提高 13％和 8％，远远超过现有方法。

Jun, 2021

LeOCLR: 利用原始图像进行对比学习视觉表征

本论文引入了 LeOCLR（Leveraging Original Images for Contrastive Learning of Visual Representations），一种新的实例辨识方法和适应的损失函数，以保证正样本之间的共享区域在语义上是正确的，实验证明我们的方法在不同数据集上始终比基线模型改进了表征学习。例如，在线性评估中，我们的方法在 ImageNet-1K 上比 MoCo-v2 提高了 5.1％，在迁移学习任务中也超过了其他几种方法。

Mar, 2024

监督对比学习

本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

Apr, 2020

条件负采样用于视觉表征对比学习

本文中介绍了一种新的图像对比学习方法，该方法采用有条件的负采样策略来优化互信息估计，与传统的噪声对比估计相比，该方法在多个标准数据集上都获得了 2-5% 的准确度提升，并且在物体检测、实例分割、关键点检测等下游任务中也获得了更好的性能表现。

Oct, 2020