自监督聚类简化半监督学习

CVPRJun, 2023

Semi-supervised learning made simple with self-supervised clustering

Enrico Fini, Pietro Astolfi, Karteek Alahari, Xavier Alameda-Pineda, Julien Mairal...

TL;DR本文提出了一种将基于聚类的自监督方法转化为半监督学习的方法，通过引入一个多任务框架将监督学习和自监督学习结合，证明该方法在 CIFAR100 和 ImageNet 上的表现是最优的。

Abstract

self-supervised learning models have been shown to learn rich visual representations without requiring human annotations. However, in many real-world scenarios, labels are partially available, motivating a recent line of work on semi-supervised methods inspired by self-supervised princ

self-supervised learning semi-supervised learning clustering swav dino

发现论文，激发创造

SCAN：无需标签学习图像分类

本文提出一种两步法的图像无监督分类方法，通过自我监督学习获取具有语义意义的特征，然后将其作为可学习聚类方法的先验，达到优化图像聚类的效果。实验证明，该方法大幅优于现有最先进方法，并在大规模图像分类数据集 ImageNet 上取得了有希望的结果。

May, 2020

S4L：自监督半监督学习

本研究探讨了图像分类器的半监督学习问题，提出了自监督半监督学习框架，并使用该框架派生出两种新的半监督图像分类方法。在 ILSVRC-2012 测试中，证明了该方法与现有半监督学习方法相比的有效性和新的最佳结果。

May, 2019

深度表示学习的无监督图像分类

本研究提出了一种无监督图像分类框架，旨在通过不使用嵌入聚类来简化和优化深度聚类算法，并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类，目标检测，语义分割等任务的泛化性，以及其在迁移学习中的有效性。

Jun, 2020

自主标记：同时聚类与表示学习

本文提出了一种通过最大化标签和输入数据索引之间的信息来解决标签聚类与表示学习相结合的问题的新方法。该方法可以有效地对数以百万计的输入图像和数以千计的标签进行自标注，以训练高度竞争的图像表示，具有优于现有模型的性能。

Nov, 2019

一种将自我监督聚类和能量模型相统一的贝叶斯方法

通过贝叶斯分析，我们对最先进的自监督学习目标进行了研究，提出了一种从第一原理推导这些目标的标准化方法，并表明将自监督学习与基于似然的生成模型进行整合的自然方式。我们在集群自监督学习和能量模型的领域内验证了这一概念，并引入了一种新的下界，可可可靠地惩罚最重要的失败模式。我们的理论发现通过对合成和真实世界数据的实验证实，包括 SVHN、CIFAR10 和 CIFAR100，因此显示我们的目标函数能够在聚类、生成和外分布检测性能方面远远优于现有的自监督学习策略。我们还证明 GEDI 可以集成到神经符号框架中，以减轻推理的快捷问题，并通过增强的分类性能学习更高质量的符号表示。

Dec, 2023

向机器监督的转变：高效注释的自监督学习用于自动医学图像分割和分类

自我监督学习和半监督学习在医学影像领域的新进展，通过 S4MI（自我监督和半监督医学影像）管道，使用 10% 标签注释的自我监督学习在大多数数据集的分类任务上表现优于 100% 标签注释，而使用 50% 标签数较少的半监督方法在三个数据集的分割任务上表现更好。

Nov, 2023

自训练方式提升语义分割

本文提出了一种半监督学习的方法，即自我训练范式，通过用标注数据训练教师模型并在大量未标注数据上生成伪标签，以较少的监督实现像素级准确模型，并在 Cityscapes，CamVid 和 KITTI 数据集上取得了最优表现，同时，在具有挑战性的跨域泛化任务上表现更佳，最后，为了减轻大量伪标签带来的计算负担，提出了一种快速训练计划来加速分割模型的训练。

Apr, 2020

辨别式自监督学习方法综述

计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。

May, 2024

理解自监督特征用于学习无监督实例分割

自我监督学习（SSL）可以用于解决复杂的视觉任务，该论文研究了实例分割的自我监督表示，发现不同 SSL 方法的特征在实例感知水平上存在差异。

Nov, 2023

研究自监督方法以实现标签高效学习

视觉变换器结合自监督学习，在分类、分割和检测等多个下游任务上能够扩展到大规模数据集。我们通过比较预训练模型，在不同自监督预训练任务（对比学习、聚类和掩模图片建模）的低样本学习能力以及应对崩溃的方法（居中、ME-MAX 和 Sinkhorn）对这些下游任务的影响进行系统级研究。基于我们的详细分析，我们提出了一个框架，将掩模图片建模和聚类作为预训练任务，这个框架在包括多类分类、多标签分类和语义分割在内的所有低样本下游任务中表现更好。此外，当在完整规模的数据集上测试模型时，我们在多类分类、多标签分类和语义分割中展示了性能提升。

Jun, 2024