对比度视觉表征学习何时有效？

CVPRMay, 2021

When Does Contrastive Visual Representation Learning Work?

Elijah Cole, Xuan Yang, Kimberly Wilber, Oisin Mac Aodha, Serge Belongie

TL;DR本文研究了自监督学习在四个不同的大规模数据集上的对比学习方法，通过数据量、数据领域、数据质量和任务粒度，得出了有关成功自监督学习所需条件的新见解，其中包括：(i) 除 500k 张图像外，额外的预训练数据的收益有限；(ii) 添加来自另一个领域的预训练图像不会产生更通用的表示。(iii) 比较学习在细粒度的视觉分类任务中远远落后于监督学习。

Abstract

Recent self-supervised representation learning techniques have largely closed the gap between supervised and unsupervised learning on imagenet classification. While the particulars of pretraining on imagenet are

self-supervised learning imagenet contrastive learning large-scale datasets fine-grained visual classification

发现论文，激发创造

自监督和有监督方法是否学习相似的视觉表征？

对比对神经表示的最新技术，研究了对比自我监督算法和简单图像数据在共同架构中的监督学习方法的中间表示的学习，发现这些方法通过不同的方法学习相似的中间表示，但在最后几层中表示迅速发散，旨在突出学习的中间表示的重要性，并提出了辅助任务设计的关键问题。

Oct, 2021

自监督视觉表示学习再探讨

该论文探讨了自我监督方法在无监督视觉表示学习中的重要性，提出之前 CNN 设计的标准配方不一定适用于自我监督表示学习，并大幅度提高了之前提出技术的性能，超越了之前公布的最先进结果。

Jan, 2019

无监督学习视觉表示的对比方法再探

本文将需要自我学习来改进现有模型的数据集偏差性进行了深入研究，并成功地在不同类型数据集上改善了模型，同时介绍了一种具有多尺度裁剪、强数据增强和近邻策略的改进自监督学习方法，并通过 MoCo 模型在语义分割和视频实例分割任务中实现了优秀的效果。

Jun, 2021

对比检测的高效视觉预训练

引入对比检测算法的自监督目标，通过在图像增强中识别物体水平特征提取富有学习信息的信号，实现高效的自监督预训练，拥有多种下游任务的领先转移精度。在 ImageNet 预训练模型表现与大型自监督系统 SEER 相当的同时，需要少至 10 倍的预训练数据量，最终该目标还能轻松应对更复杂的图像。

Mar, 2021

对比自监督学习综述

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

对比自监督表示学习流程的对比

该篇论文从训练算法、预训练数据集和最终任务的角度分析了自监督表示学习的最成功和最流行的变体 - 对比式学习，探究了各种问题，包括自监督模型与监督模型的性能比较，用于评估的当前基准，以及预训练数据对最终任务性能的影响。

Mar, 2021

对比学习视觉表示的可转移性广泛研究

本文通过研究在 12 个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵 / 监督对比损失的联合目标可增强这些模型的可迁移性。

Mar, 2021

自监督视频预训练产生强大的图像表示

提出了一种名为 VITO 的简单范式，通过对动态视频帧的自我监督学习，有效地学习图像表示，该方法实现了视频预训练模型在语义分割和对象检测等任务上与 ImageNet 预训练模型性能相近甚至更好的表现，未来视频预训练有望成为学习图像表示的新默认方法。

Oct, 2022

自监督视频表征学习基准测试

本文提出了用于视频领域的自监督学习基准，并对数据集大小、数据分布、数据噪声、自监督预训练架构相关的五个不同方面进行了观察分析，同时提出一种新方法，不需要过多的训练数据，即可超越现有自监督预训练的先进水平。

Jun, 2023

自监督学习：生成或对比

本文介绍自监督学习作为深度学习替代方案的优势及其在计算机视觉、自然语言处理和图学习中的应用，分类总结了现有的自监督学习方法，并进一步探讨其相关的理论分析工作，最后简要讨论了自监督学习的未来方向和开放性问题.

Jun, 2020