对比自监督学习框架及设计新方法

Aug, 2020

对比自监督学习框架及设计新方法

A Framework For Contrastive Self-Supervised Learning And Designing A New Approach

William Falcon, Kyunghyun Cho

TL;DR通过解决先验任务从无标签数据集中选择和比较 anchor、negative 和 positive 特征来学习有用的表示，我们提出了一个概念性框架，该框架从数据增强管道、编码器选择、表示提取、相似性度量和损失函数五个方面表征对比自监督学习方法。我们分析了三种主要的 CSL 方法 - AMDIM、CPC 和 SimCLR-，并表明它们是这个框架下的特殊情况。通过设计 Yet Another DIM（YADIM），我们展示了我们框架的效用，该方法在 CIFAR-10、STL-10 和 ImageNet 上取得了竞争性结果，并且对编码器的选择和表示提取策略更具鲁棒性。为了支持正在进行的 CSL 研究，我们发布了此概念框架的 PyTorch 实现，以及 AMDIM、CPC（V2）、SimCLR、BYOL、Moco（V2）和 YADIM 的标准化实现。

Abstract

contrastive self-supervised learning (csl) is an approach to learn useful representations by solving a pretext task that selects and compa

contrastive self-supervised learning csl representation learning pretext task encoder selection

发现论文，激发创造

连锁原型对比学习

本研究提出了一种简单而有效的对比学习框架来解决 Contrastive Self-supervised Learning (CSL) 中样本不足问题，将同一个输入的不同视角拉近，不同输入的视角推远，提高了视觉表征的质量，并在 ImageNet-1K 数据集上表现出了超越完全监督训练版本的性能。

Aug, 2022

对比自监督学习导致更高的对抗性易感性

通过对比自监督学习与 supervised learning 在对抗鲁棒性上的表现，本文发现 contrastive self-supervised learning 的数据表示倾向于在单位超球面上均匀分布，这导致其比 supervised learning 更容易受到干扰，作者提出了一种有效的方法来检测与消除训练中的 false negative pairs，并将其应用于对比自监督学习中，成功缩小了对抗鲁棒性方面与 supervised learning 之间的差距，提高了模型的性能。

Jul, 2022

视觉表示对比学习的简单框架

SimCLR 是一种简单的对比学习框架，通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果，在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。

Feb, 2020

ASR 的对比半监督学习

本文提出了一种名为对比半监督学习（Contrastive Semi-supervised Learning, CSL）的方法，通过挑选正负样本来替代直接预测教师生成的伪标签，并将其应用于翻译公共社交媒体视频的挑战任务中，从而比标准的交叉熵伪标签（CE-PL）减少了 8% 的 WER。

Mar, 2021

对比自监督学习综述

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

解耦对比学习

本文提出了解决自监督对比学习中的批处理大小等参数问题的一种简单有效的基准方法（DCL），并对其进行了在多种基准测试中的复现和实时检验，最终实现了较少受亚优化超参数影响且性能不错的对比学习方法。

Oct, 2021

对比自监督学习中的文本转换方法综述

本综述论文探讨了如何在自监督学习中使用对比学习方法来改善文本表示学习，并介绍了现有方法的优缺点和局限性。

Mar, 2022

一个概率模型解释自监督表示学习

自监督学习在生成的潜在变量模型和对比方法的框架下，提出了一种能够改善性能、实现任务无关性表示的方法。

Feb, 2024

对比自监督学习中的维度崩塌的理解

本文介绍了一种自监督学习方法 —— 对比学习。为了避免嵌入向量全部收敛到常数解的问题，这篇文章提出了一种新的对比学习方法 DirectCLR，该方法直接优化表示空间而不依赖于显式可训练的投影仪。实验表明，DirectCLR 在 ImageNet 上的表现优于 SimCLR。

Oct, 2021

图分类的对比自监督学习

本研究提出了两种基于对比自监督学习（CSSL）的方法来缓解过拟合的问题，具体地，我们使用 CSSL 对图形编码器进行预训练，并在标记后的图形上调整预先训练的编码器。我们还开发了一个基于 CSSL 的正则化器，同时解决监督分类任务和无监督 CSSL 任务。通过数据增强的方式，定义了对比损失来学习图形编码器。实验结果表明，我们提出的方法在各种图形分类数据集上都非常有效。

Sep, 2020