文本分类的人口统计信息对抗清理

EMNLPSep, 2021

文本分类的人口统计信息对抗清理

Adversarial Scrubbing of Demographic Information for Text Classification

Somnath Basu Roy Chowdhury, Sayan Ghosh, Yiyuan Li, Junier B. Oliva, Shashank Srivastava...

TL;DR本文通过 Adversarial Scrubber 模型构建一个去偏置的框架，旨在在维持目标任务性能的同时，去除受到性别、种族等社会统计属性的不良影响，通过最小描述长度探测等实验展示了该模型的性能优异性。

Abstract

contextual representations learned by language models can often encode undesirable attributes, like demographic associations of the users, while being trained for an unrelated target task. We aim to scrub such un

contextual representations adversarial learning debiasing fairness demographic associations

发现论文，激发创造

文本数据种的人口属性对抗性剔除

本篇论文通过实验证明，作者的人口统计信息可以从神经分类器中间表示中被检测出来；在尝试用对抗性训练去除这些信息时，该方法效果不佳，需要注意敏感特征的不变表示不应仅依赖于对抗性训练。

Aug, 2018

用对手模型压制表示

采用对抗生成网络的方法，学习灵活的、去除敏感信息的表示，以减少歧视和保护隐私，解决在机器学习应用中存在的限制问题。

Nov, 2015

用对抗学习缓解不必要的偏见

本文提出了通过引入变量以及同时训练预测器和对手的方式来缓解训练数据中存在的偏见问题，在不同定义的公平性与多种基于梯度的学习模型，包括回归和分类任务中均具有广泛适用性的公平性缓解方法。

Jan, 2018

通过对抗性框架学习公平表示

本文介绍了一个最小二乘对抗框架，其中一个发生器生成学习个体的潜在表示，一个评论家保证了不同保护组的分布相似，从而在保留足够信息的同时解决了受保护属性引起的潜在偏差问题，为公平分类提供了理论保证。经验结果表明，这种方法可以有效地用于分类任务，特别是在删除受保护属性不足以实现公平分类的情况下。

Apr, 2019

社会公益的对手：利用对抗攻击保护个人属性隐私

本文提出了一种名为 Adv4SG 的新型文本领域对抗性攻击方法，旨在通过一系列词汇扰动来保护社交媒体上的个人属性隐私，有效地降低基于自然语言处理技术的属性推断攻击的影响。

Jun, 2023

利用原型表示消除社会偏见而不包含人口统计信息

DAFair 是一种用于减轻语言模型中社会偏见的新方法，通过预定义的典型人口统计文本，并在微调过程中加入正则化项来纠正模型的表示中的偏见，从而在两个任务和两个模型上实证结果显示了我们方法的有效性。此外，即使在有限的人口统计注释数据下，我们的方法也优于常见的去偏方法。

Mar, 2024

当对抗性学习公平表征时的数据决策与理论含义

本文研究通过对抗训练神经网络来消除敏感属性信息从而实现分类器 “公平” 的方法。发现只需要少量数据即可训练出具有公平性的分类器，并且数据分布影响对手的公平概念。

Jul, 2017

未经筛选的图像 - 文本数据集：揭示人口特征偏见

我们研究了在视觉和语言模型训练中使用大型未筛选数据集的不公平表现，以及如何应对这个问题，研究发现社会偏见在图像生成、图像描述和图像文本嵌入等视觉语言任务中都是一个持续而普遍的问题。

Apr, 2023

使用对抗训练来消除推荐系统中保护用户属性的影响

本研究通过在当前最先进的 MultVAE 结构中引入对抗训练，提出了一种新型保护用户隐私的推荐系统算法 Adv-MultVAE，该算法利用多项式似然函数去除隐私属性的影响，同时保持了推荐精度，并通过实验证明了 Adv-MultVAE 对多个数据集的强健性。

Jun, 2022

通过对抗网络逼近机器学习公平性

介绍一种新的针对敏感特征的机器学习公平性框架，通过去除敏感信息和最小化敏感特征的边际贡献来改善模型的公平性。实验结果表明，该模型在公平性指标和预测性能方面均优于相关最先进方法。

Sep, 2019