公平表征的对比学习

Sep, 2021

Contrastive Learning for Fair Representations

Aili Shen, Xudong Han, Trevor Cohn, Timothy Baldwin, Lea Frermann

TL;DR本论文提出了一种采用对比学习的分类器去偏置化的方法，使得模型在保持主要任务性能的前提下，更加公平地代表输入的各种属性，并取得了在 NLP 和计算机视觉四个任务中的优异表现。

Abstract

Trained classification models can unintentionally lead to biased representations and predictions, which can reinforce societal preconceptions and stereotypes. Existing debiasing methods for classification models, such as adversarial training, are often expensive to train and difficult

biased representations debiasing methods contrastive learning fairness nlp and computer vision

发现论文，激发创造

有条件的监督对比学习：公平的文本分类

提出使用有条件的监督对比目标学习在文本分类中学习公平代表的方法，以平衡在现有基准线中任务表现和偏差缓解之间的权衡，并在两个文本数据集上进行实验，展示了该方法的有效性。

May, 2022

当对抗性学习公平表征时的数据决策与理论含义

本文研究通过对抗训练神经网络来消除敏感属性信息从而实现分类器 “公平” 的方法。发现只需要少量数据即可训练出具有公平性的分类器，并且数据分布影响对手的公平概念。

Jul, 2017

通过对抗性框架学习公平表示

本文介绍了一个最小二乘对抗框架，其中一个发生器生成学习个体的潜在表示，一个评论家保证了不同保护组的分布相似，从而在保留足够信息的同时解决了受保护属性引起的潜在偏差问题，为公平分类提供了理论保证。经验结果表明，这种方法可以有效地用于分类任务，特别是在删除受保护属性不足以实现公平分类的情况下。

Apr, 2019

对比学习的隐私风险量化与减轻

本文针对对比度学习的隐私问题进行了首次隐私分析，实验结果表明，相对于监督学习模型，对比学习模型更易受到属性推断攻击，但其会导致的成员推断攻击风险较小。为解决这一问题，提出了一种新的隐私保护对比度学习机制 Talos，通过对抗式训练成功地缓解了属性推断威胁，同时保持了其成员隐私和模型效用。

Feb, 2021

通过对比信息估计实现合理结果的可控保证

限制特征与受保护属性之间的互信息可控制任何下游分类器的公平性。本文基于对比信息估计方法演示了一种实现公平性控制的有效方法，比依赖于基于复杂生成模型的变分界限方法表现更好。在 UCI 成人和遗产健康数据集上测试时，我们的方法提供了更多信息性的表示，并提供了关于任何下游算法平等性的强有力的理论保证。

Jan, 2021

面部属性分类的公平对比学习

本文提出了一种公平的监督对比损失方法（Fair Supervised Contrastive Loss），旨在保证图像的视觉表达不带有敏感属性信息，同时通过组内归一化减少分组之间的差异，实现了在公平性和准确性上的平衡，并在 CelebA 和 UTK Face 的数据集上验证了该方法的有效性。

Mar, 2022

缓解语音模型中的偏见的对比学习方法

使用对比学习技术来减轻语音模型中的偏差，改善性能不佳的子群体的内部表示，从而降低模型偏差并提升性能。

Jun, 2024

无偏监督对比学习

本文提出了一种基于边界的理论框架，并推导出了一种新的有监督对比损失（epsilon-SupInfoNCE）和一种有效的去偏差正则化损失（FairKL），这些方法可以用于从偏差数据中学习无偏模型，并在多个偏差数据集上实现了最先进的性能。

Nov, 2022

理解对比学习需要融入归纳偏差

本文指出只考虑增强方法和对比损失等因素不能充分解释对比学习的成功，需要考虑算法和函数类的归纳偏差，特别是对于线性表示，加入函数类的归纳偏差可以让对比学习在更宽松的条件下工作。

Feb, 2022

DualFair: 基于对比自监督的群体和个体公平表示学习

本文提出了一种名为 DualFair 的自我监督模型，可从学到的表示中去除诸如性别和种族等敏感属性的偏差，同时优化两个公平标准，团体公平性和反事实公平性，为团体和个体提供更公平的预测，针对多个数据集进行了详细的分析，表明了该模型的有效性和进一步展示了同时解决两种公平标准的协同效应，同时建议该模型在公平的智能 Web 应用中具有潜在价值。

Mar, 2023