Sep, 2018

通过鲁棒性实现文本分类的反事实公平性

PDF
TL;DR本文研究文本分类中的反事实公平性问题，提出了一种度量特定公平性形式 —— 反事实令牌公平性 (CTF) 的度量准则，利用三种方法 —— 盲化、反事实增强和反事实逻辑配对 (CL) 解决训练中的反事实令牌公平性优化问题，这些方法不会影响分类器性能，并且在小组公平性方面具有变化，为解决文本分类中的公平性问题提供了新的途径。
发现论文，激发创造
  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 文本分类中的逆因果多令牌公平性

    本文提出了一种名为 Counterfactual Multi-token Generation 的生成方案，通过扰动多个敏感 Token，可对各种形式的文本和文档实现更好的 Counterfactual 公平性，获得在多个基准数据集上显著的性能提升。

    Feb, 2022

  • 使用身份信息数据增强方法实现文本分类任务的公平性

    本文提出了一种两步数据增强过程，第一步是使用词嵌入方法准备身份对的全面列表，第二步是利用身份对列表通过三种简单的操作（即身份对替换、身份项盲目替换和身份对交换）增强训练实例，实验结果表明，这个增强过程可以产生多样化的身份对，并提高了基于令牌的反事实公平度量得分，适用于两个文本分类任务。

    Feb, 2022

  • 从观测数据中学习反事实公平性

    本文提出了一种新的框架 CLAIRE，通过对反事实数据增广和不变化惩罚的表征学习框架有效地减轻了敏感属性的偏差，并在合成和真实数据集上的实验验证了 CLAIRE 在反事实公平性和预测性能方面的优越性。

    Jul, 2023

  • 因果背景连接反事实公平与稳健预测和群体公平

    我们利用因果上下文桥接了反事实公平、鲁棒预测和群体公平之间的差距，展示了它们之间的等价关系，并通过测量相对简单的群体公平指标来测试反事实公平。

    Oct, 2023

  • 预测敏感性：部署的分类器中反事实公平性的持续审计

    该研究提出了一种基于预测敏感性的方案，用于对已部署的分类器进行持续审计，以识别反对事实上的公正性。该方案不需要保护状态信息的预测时间，可以利用保护状态和其他特征之间的相关性，并展示了该方法有效检测反对事实上公正性的违规情况。

    Feb, 2022

  • 反事实公平表达

    在这项研究中，我们提出了一种使用所有可用特征进行训练的新算法，从理论和实证方面证明了使用该方法训练的模型能够满足 Counterfactual Fairness。

    Nov, 2023

  • 自然语言处理中的人类辅助公正分类

    本研究提出了使用无监督风格转移和 GPT-3 的零 - shot 技术发现具有表达性和直观性的个体公平规范的新方法，以解决文本分类器中公平性问题。我们使用众包研究验证了所生成的具有人类直觉的公平排除敏感属性的语句对，并展示了有限数量的人类反馈如何帮助训练一种相似度规范来训练下游的公平感知模型。

    Dec, 2022

  • 通过自动生成的反事实情况实现文本分类中对伪相关性的鲁棒性

    通过增加具有相反特性和标签的反事实数据来训练鲁棒的文本分类器，以强化模型可靠性和泛化性，实验证明，其在人工生成对照样本和原始测试数据上表现出较高的鲁棒性和精准度。

    Dec, 2020

  • 用反事实表示解释文本分类器

    通过在文本表示空间进行干预的简单方法生成对抗事实，以用于分类器解释和偏见缓解。

    Feb, 2024