ICLRMar, 2021

FairFil：预训练文本编码器的对比神经去偏方法

PDF
TL;DR本文提出了第一个用于预训练句子编码器的神经去偏方法，通过公平滤波器网络将预训练编码器输出转化为去偏表示，在现实世界数据集上，我们的公平滤波器有效地减少了预训练文本编码器的偏差程度，并在下游任务中持续展现理想的性能。此外，我们的事后方法不需要重新训练文本编码器，进一步扩大了公平滤波器的应用空间。
发现论文，激发创造
  • 内容条件去偏差以实现公平的文本嵌入

    在自然语言处理领域，解决机器学习模型中的偏见问题日益受到关注。本文提出了一种学习公平文本嵌入的新方法，通过确保在内容条件下敏感属性与文本嵌入之间的条件独立性，同时实现公平性并保持效用平衡。通过使用大型语言模型将文本扩充为不同敏感组，解决了缺乏适当训练数据的问题。我们的广泛评估表明，我们的方法在提高公平性的同时保持了嵌入的实用性，是在实现公平文本嵌入的条件独立性方面的先驱性工作。

    Feb, 2024

  • 大型语言模型中的公平性偏差和去偏差之旅

    这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

    May, 2023

  • 通过对比词对来消除句子嵌入器的偏见

    去除自然语言处理中句子嵌入中的线性和非线性偏见信息，以不影响下游性能。通过比较常见去偏方法和考虑非线性信息的去偏指标，探索了这种方法。

    Mar, 2024

  • InterFair: 具有自然语言反馈的去偏见公平可解释预测

    该研究论文提出，自然语言处理模型中的去偏置方法应当使用敏感信息来实现公平去偏置，而不是盲目地消除它，为了实现公平平衡，研究人员建议采用能够与用户互动并提供反馈的交互式方法，从而在任务表现和偏置缓解之间实现更好和公正的平衡，并支持详尽的解释。

    Oct, 2022

  • 从偏见到平等：消除大型语言模型词向量偏差的新方法

    我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当前最先进的方法。

    Feb, 2024

  • 视觉和语言研究中实现更公平的神经模型的去偏置方法：一份调查报告

    在电脑视觉和自然语言处理领域中，神经网络虽然能够取得最新成果，但是其存在数据内的建模偏见，导致人工智能领域出现了公平性的研究方向，其目的为了纠正算法偏见，提出了几种基于公平性的神经网络去偏置的方法。

    Nov, 2022

  • 使用有偏尺度衡量公平性：对预训练语言模型中偏差量化的调查

    调查表明，对于预训练语言模型的公平度和偏见进行度量的大量指标之间的比较以及使用这些指标进行评估的工作仍然困难，如果不是完全不可能的。建议避免基于嵌入的指标，并专注于下游任务中的公平度评估，以提高未来的公平度比较和评估。

    Dec, 2021

  • 在公平表示和准确性之间填补差距

    通过分析文档和句子的自然语言表示（即编码），我们发现并研究了这些编码中可能存在的针对不同子群体的偏见，并提出了缓解这种偏见的方法同时保持分类模型的较高准确性。

    Apr, 2024

  • 具有差分隐私文本编码器的公平自然语言处理模型

    本文提出 FEDERATE 方法，将差分隐私和对抗训练的思想结合起来，学习私有的文本表示，同时也促进了更公平的模型；在四个 NLP 数据集上的实证结果表明 FEDERATE 方法一致性地优于以前的方法。

    May, 2022

  • 通过反事实评估减少语言模型中的情感偏见

    本文旨在量化并减少语言模型中表现出的情感偏见，该文分析了在给定的条件下（例如写作提示）和语言模型中，引起生成的文本情感发生变化的敏感属性（例如国家名称，职业，性别）的值变化的影响。我们采用公平机器学习文献中的个体和团体公正度量来量化情感偏见，并证明在两种不同的语料库（新闻文章和维基百科）上训练的大规模模型存在相当高的偏见。我们随后提出使用嵌入和情感预测导出的正则化方法，该方法应用于语言模型的潜在表示。该正则化提高了公正度量，同时保持了可比水平的困惑度和语义相似性。

    Nov, 2019