对比学习的隐私风险量化与减轻

MMFeb, 2021

Quantifying and Mitigating Privacy Risks of Contrastive Learning

Xinlei He, Yang Zhang

TL;DR本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

Abstract

Data is the key factor to drive the development of machine learning (ML) during the past decade. However, high-quality data, in particular labeled data, is often hard and expensive to collect. To leverage large-scale unlabeled data, →

machine learning self-supervised learning privacy analysis membership inference attribute inference

发现论文，激发创造

遮蔽对比学习用于异常检测

本文提出了一种基于自我监督学习方法的特定任务变体对比学习称为 “遮蔽对比学习”，其更适用于异常检测，并提出了一种自我集成推断方法，通过利用辅助自我监督任务学习的能力进一步提高模型性能，在各种基准数据集上的表现显著超过以往的最先进方法。

May, 2021

公平表征的对比学习

本论文提出了一种采用对比学习的分类器去偏置化的方法，使得模型在保持主要任务性能的前提下，更加公平地代表输入的各种属性，并取得了在 NLP 和计算机视觉四个任务中的优异表现。

Sep, 2021

对比自监督学习综述

本研究对自监督学习中采用对比学习方法的常见预训练任务及各种方法进行了广泛的回顾，并通过图像分类，目标检测和动作识别等多个下游任务的性能比较，探讨了当前方法的限制以及未来发展方向。

Oct, 2020

理解对比学习需要融入归纳偏差

本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

对比学习反转数据生成过程

使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

Feb, 2021

课程学习中的隐私风险综合研究

通过演示对课程学习的影响，我们的研究填补了对机器学习隐私泄露的缺乏评估。我们发现，课程学习对会员推理攻击更加有效，但对属性推理攻击的影响较小。我们还提出了一种新的会员推理攻击方法以及针对课程学习的防御解决方案。

Oct, 2023

针对监督学习和对比学习同时的高效可用性攻击

通过采用对比样本增强的方式，在监督学习和对比学习算法中实现了卓越的模型无法学习性能，以提高数据保护的能力。

Feb, 2024

对比学习作为核逼近

通过对无标签数据进行对比学习，可以生成低维的特征向量表示，这些特征向量可以作为输入来提高有标签数据上的监督学习系统的准确性，并探讨了对比损失函数的最小化器及其与以往学习无标签数据方法的关系。

Sep, 2023

自监督对比学习的特征学习过程理解

本文通过分析其特征学习过程，形式化研究了对比学习如何学习神经网络的特征表征。通过证明使用 ReLU 网络的对比学习可以如果采用适当的增强来稀疏表示，我们提出了一种名为特征解耦的基本原理来解释增强的效果，并在实践中验证了特征解耦原理与对比学习的基本机制相匹配。

May, 2021

对比表示学习：框架与综述

本篇论文提供了 Contrastive Learning 的文献综述，并提出了一个通用的 Contrastive Representation Learning 框架，该框架简化并统一了许多不同的对比学习方法，并对对比学习的各个组成部分进行了分类。对于任何对比学习系统存在的规约偏差进行了分析和讨论，将我们的框架根据各种机器学习子领域的不同视角进行了分析。最后，介绍了对比学习在计算机视觉、自然语言处理、音频处理以及强化学习等领域的应用，以及未来研究方向中的挑战和一些最有前途的研究方向。

Oct, 2020