无监督视觉表示学习的拼图聚类

CVPRApr, 2021

Jigsaw Clustering for Unsupervised Visual Representation Learning

Pengguang Chen, Shu Liu, Jiaya Jia

TL;DR本文介绍了一种新的基于拼图聚类的预处理任务方式，可在降低训练成本的同时充分利用图像内部和外部信息进行训练，实现了与对比学习方法相当的效果，甚至在只使用一半的训练批次时也能够优于其他单批次方法。通过预训练模型，最终在 ImageNet 、CIFAR-10 和 CIFAR-100 数据集上实现了优异的成果。

Abstract

unsupervised representation learning with contrastive learning achieved great success. This line of methods duplicate each training batch to construct contrastive pairs, making each training batch and its augment

unsupervised representation learning contrastive learning jigsaw clustering single-batch unsupervised methods pretrained models

发现论文，激发创造

基于 CLIP 的栅格拼图表示：图像聚类的新视角

无监督表征学习在计算机视觉中对图像聚类至关重要。本论文介绍了基于拼图策略的图像聚类算法 Grid Jigsaw Representation（GJR），并创新了基于预训练的 Grid Jigsaw Representation（pGJR），两者在图像聚类任务上表现出较高的有效性和收敛速度。

Oct, 2023

监督对比学习

本文介绍了一种基于对比学习的自我监督表征学习方法，并将其推广到全监督设置中。其中，相同类别的样本点在嵌入空间中被拉在一起，而来自不同类别的样本则被同时推开，以实现更好的分类性能。实现简单，最佳损失函数表现优于交叉熵。

Apr, 2020

通过对比聚类分配实现视觉特征的无监督学习

本文介绍了一种在线聚类算法 SwAV，在不需要计算成对对比的基础上，通过使用一种被称为预测机制的方式来建立视图之间的一致性，并提出了一种新的数据增强策略多裁剪，在 ImageNet 数据集上达到 75.3％的 top-1 准确率，并超出了所有考虑的迁移任务的监督预训练。

Jun, 2020

通过解决拼图游戏来无监督地学习视觉表征

本文研究了无需人工注释的图像表示学习问题，通过自监督学习的方式，构建了一个卷积神经网络，该网络能够以拼图问题作为预文本任务进行训练，从而无需手动标注，并在后续用于解决目标分类和检测问题；同时引入了一种名为 CFN 的无上下文网络，该网络以图像块作为输入，并将其早期处理单元的感受野（或上下文）明确限制为一次一个图像块，以保持跨任务的兼容性。通过训练 CFN 来解决拼图问题，我们学习了对象部分的特征映射以及它们的正确空间排列，实验评估结果表明，所学习的特征捕获了语义相关的内容；本文提出的学习视觉表示的方法在多个转移学习基准测试中胜过现有的最先进方法。

Mar, 2016

无监督学习视觉表示的对比方法再探

本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

Jun, 2021

弱监督对比学习

提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

Oct, 2021

弱空间约束下的迭代重组：无人监督表征学习中任意拼图问题的解决

本文提出了一种用于解决任意大小和形状的智力拼图，利用无监督学习从未标记的图像数据中学习视觉特征，可作为网络初始化的可靠方法，适用于图像分类、物体检测和语义分割等几类视觉识别任务。

Dec, 2018

通过最大化多视角之间的互信息进行聚类

该研究提出了一种新颖的图像聚类框架，将联合表示学习和聚类相结合，并使用加权的对比损失函数来训练，在多个图像数据集上表现出显著的优越性。

Jul, 2021

为无监督视觉表示学习训练一百万类别的实例分类器

该研究提出了一种简单的无监督视觉表示学习方法，使用参数化的实例级分类器来区分数据集中的所有图像作为前提任务。这种方法解决了大规模训练的困难，并提供了一种相似度先验，以在多个视觉任务中实现了竞争性的性能表现。

Feb, 2021

ContraCluster: 利用对比度自我监督学习和基于原型的半监督学习实现无标签分类

使用对比自监督学习结合聚类的方法，提出了一种新的半监督图像分类方法 ContraCluster，通过三个阶段的学习可选取出高精度的图像原型并再结合少量的无标签数据和原型的噪声标签进行半监督训练，成果达到了与有监督分类相当的高准确率。

Apr, 2023