辨别式自监督学习方法综述

May, 2024

A review on discriminative self-supervised learning methods

Nikolaos Giakoumoglou, Tania Stathaki

TL;DR计算机视觉领域的自监督学习是从无标签数据中提取强大特征的方法，模型通过自动从数据本身中推导标签而无需人工注释。本文全面回顾了计算机视觉领域内的自监督学习的判别性方法，包括对比、自蒸馏、知识蒸馏、特征去相关化和聚类技术，并研究这些方法如何利用大量的无标签数据。最后，我们对标准的 ImageNet 分类基准上的自监督学习方法进行了比较。

Abstract

In the field of computer vision, self-supervised learning has emerged as a method to extract robust features from unlabeled data, where mo

computer vision self-supervised learning unlabeled data discriminative approaches imagenet classification benchmark

发现论文，激发创造

自监督学习：生成或对比

本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

Jun, 2020

对比自监督学习综述

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

深度神经网络自监督视觉特征学习：综述

本文综述了基于深度神经网络的自监督学习方法在视觉特征学习方面的应用，由于需要大量标记数据来训练深度神经网络，因此自监督学习被提出来，使用大规模未标记数据来学习图像和视频的通用特征而无需使用任何人工标记的标签。本文对自监督学习方法的主要组件和评估指标以及已有的图像和视频特征学习方法进行了综述和比较。

Feb, 2019

视频自监督学习综述

本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

Jun, 2022

自监督视觉表示学习再探讨

该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习，并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

Jan, 2019

多视角自监督学习

本文提供了一种信息理论框架，从多个视角探究自监督学习的特性，并介绍了可以丢弃任务无关信息的任务相关自适应目标函数，为自监督学习的目标设计提供了更加广阔的空间。

Jun, 2020

自监督表示学习：介绍、进展与挑战

介绍了自监督学习的基本概念、方法和应用，探讨了自监督学习在不同数据模态下的表现，包括图像、视频、音频和文本，并讨论了其实用性和存在的问题。

Oct, 2021

对比学习，多视角冗余和线性模型

本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。

Aug, 2020

稳定且因果推理用于区分自监督深度视觉表示

从因果关系的角度分析了有问题的自我监督方法，并提出了解决方案，通过在推理过程中应用线性变换来提高时间效率。

Aug, 2023

S4L：自监督半监督学习

本研究探讨了图像分类器的半监督学习问题，提出了自监督半监督学习框架，并使用该框架派生出两种新的半监督图像分类方法。在 ILSVRC-2012 测试中，证明了该方法与现有半监督学习方法相比的有效性和新的最佳结果。

May, 2019