自监督对比学习的特征学习过程理解

ICMLMay, 2021

自监督对比学习的特征学习过程理解

Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning

Zixin Wen, Yuanzhi Li

TL;DR本文通过分析其特征学习过程，形式化研究了对比学习如何学习神经网络的特征表征。通过证明使用 ReLU 网络的对比学习可以如果采用适当的增强来稀疏表示，我们提出了一种名为特征解耦的基本原理来解释增强的效果，并在实践中验证了特征解耦原理与对比学习的基本机制相匹配。

Abstract

How can neural networks trained by contrastive learning extract features from the unlabeled data? Why does contrastive learning usually ne

neural networks contrastive learning feature learning sparse features data augmentations

发现论文，激发创造

自监督学习中的对比神经过程

本文提出了一种新的自监督学习框架，将对比学习与神经过程相结合，用于时间序列预测，实现数据的增强和避免手动设计数据增广，利用我们的方法训练的 ResNet 和线性分类器在工业、医疗和音频数据集上表现良好，精度提高 10％以上。此外，我们证明了我们的自监督表示在潜空间中更有效，改善了多个聚类指标，同时微调 10％的标签可达到与全监督学习相竞争的结果。

Oct, 2021

对比自监督学习综述

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

走向对比自监督学习的泛化

研究了自我监督学习中一种流行的方法 —— 对比学习，在此基础上通过数学量化数据增强方法的度量，探讨了其泛化能力与三个关键因素的相关性 —— 正样本的一致性、类中心的分离度以及数据增强的集中度，并使用实验验证了后者对最终性能的影响。

Nov, 2021

对比学习中归纳偏置的理论研究

本研究针对自监督学习提供了首个理论分析，其中包括来自模型类祖产的归纳偏差的影响。我们特别关注对比学习 - 一种在视觉领域广泛使用的自监督学习方法。我们发现，当模型具有有限的容量时，对比表示将恢复与模型结构兼容的某些特殊聚类结构，但忽略数据分布中的许多其他聚类结构，从而捕捉了更加现实的情景。我们将理论实例化为几个合成数据分布，并提供实证证据来支持该理论。

Nov, 2022

理解对比学习需要融入归纳偏差

本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

对比学习的隐私风险量化与减轻

本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

Feb, 2021

对比学习中避免特征抑制：学习以前没有学到的内容

以自监督对比学习为基础，提出了一种新颖的多阶段对比学习框架 (MCL)，旨在解决特征抑制问题，从而学习到更全面的表示，并能够提升各种下游任务的性能。

Feb, 2024

对比学习与非对比学习的比较

本文通过理论结果和实验表明，非对比损失在简单数据模型中具有非坍塌的不良极小值，并且训练过程不能避免这些极小值。

Mar, 2022

对比学习的少样本分类

本文提出了一种新的对比学习框架，将其无缝地整合到预训练阶段和元训练阶段，以提高少样本分类的性能，并使用交叉视图的情节训练机制进行最近的质心分类，并采用基于距离缩放的对比损失。

Sep, 2022

对比学习，多视角冗余和线性模型

本文针对多视图环境下对比学习进行理论分析，结果表明当视图提供有关标签的冗余信息时，所学习的表示的线性函数在下游预测任务中几乎是最优的。

Aug, 2020