CVPRJun, 2022

超越有监督与无监督：图像表示学习的代表性基准测试与分析

PDF
TL;DR本文提供一个综合性的比较不同无监督学习方法在图像特征表达方面的表现，使用线性评估、最近邻分类和聚类等多个基准测试来定量比较，分析了不同嵌入度量的均匀性、容忍性和中心内核对齐，并提出了两个新的度量。通过比较分析发现不能以单一流行的方法来代表整个领域的研究，在未来的工作中，应考虑如何利用这些方法的互补性。同时提供了一个统一的框架来定量数据增强不变性，并提醒不同任务需要的增强不变性类型各有差异。
unsupervised learningimage representationcontrastive learningclusteringbenchmark
发现论文，激发创造
  • 走向无监督表示学习：学习、评估和传递视觉表示

    无监督表示学习、卷积自组织神经网络、评估协议、表示传输、图像到图像转换

    Nov, 2023

  • 深度表示学习的无监督图像分类

    本研究提出了一种无监督图像分类框架，旨在通过不使用嵌入聚类来简化和优化深度聚类算法，并在 ImageNet 数据集上进行了实验。同时验证了其在多标签图像分类，目标检测，语义分割等任务的泛化性，以及其在迁移学习中的有效性。

    Jun, 2020

  • 对比无监督表示学习的理论分析

    本文提出了一种理论框架以分析对比学习的算法，并引入潜在类别假设，该框架使我们能够在平均分类任务上证明学习表示的性能。同时，该文还表明，学习表示可以降低下游任务的（标记）样本复杂度。

    Feb, 2019

  • 自监督和有监督方法是否学习相似的视觉表征？

    对比对神经表示的最新技术，研究了对比自我监督算法和简单图像数据在共同架构中的监督学习方法的中间表示的学习，发现这些方法通过不同的方法学习相似的中间表示，但在最后几层中表示迅速发散，旨在突出学习的中间表示的重要性，并提出了辅助任务设计的关键问题。

    Oct, 2021

  • 弱监督对比学习

    提出了一种基于弱监督对比学习的框架 (WCL)，该框架使用两个投影头进行正则的实例区分任务，一头使用基于图形的方法找到相似的样本并生成弱标签，另一头使用这些弱标签进行有监督的对比学习任务，以拉近相似图像之间的距离。WCL 旨在解决现有对比学习框架中的类冲突问题，并在不同的数据集上提高了自监督表示品质，尤其是在半监督学习中达到了新的最优结果。

    Oct, 2021

  • 无监督学习视觉表示的对比方法再探

    本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

    Jun, 2021

  • 自监督表示学习调查

    无监督学习下的意义化特征表示方法综述及实验结果分析。

    Aug, 2023

  • 对比度视觉表征学习何时有效？

    本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

    May, 2021

  • 通过对比聚类分配实现视觉特征的无监督学习

    本文介绍了一种在线聚类算法 SwAV，在不需要计算成对对比的基础上，通过使用一种被称为预测机制的方式来建立视图之间的一致性，并提出了一种新的数据增强策略多裁剪，在 ImageNet 数据集上达到 75.3％的 top-1 准确率，并超出了所有考虑的迁移任务的监督预训练。

    Jun, 2020

  • 监督无监督学习

    提出了一种框架，利用从一组有监督数据集获取的知识来处理新的无监督数据集，该框架可以减少无监督学习中的主观性并提供一种评估无监督算法的原则方法，在聚类方面，它可以帮助选择聚类数量和算法，去除异常值并从许多小数据集中学习共性特征，从而实现了零样本学习。

    Sep, 2017