AAAISep, 2019

分布式词向量空间中隐式和显式去偏见的一般框架

PDF
TL;DR本论文提出了一个通用的去除词向量中性别、种族等偏见的方法，并通过新的评估指标验证了该框架的有效性，同时在跨语言文本中成功实现了去偏。
distributional word vectorsbias definitiondebiasing frameworkevaluation metricscross-lingual transfer
发现论文，激发创造
  • 我们是否存在一致偏差？对分布式词向量偏差的多维分析

    该研究对分布式词向量空间中的偏见效应进行了系统性分析，研究表明：偏见效应在不同的词向量模型、文本类型和语言之间是不一致的，同时，双语词向量空间中的跨语言偏见也是存在的。该研究以期促进自然语言处理中的偏见研究，为偏见缓解技术的发展提供帮助。

    Apr, 2019

  • DebIE: 词嵌入空间隐式和显式去偏差平台

    DebIE 是第一个集成化平台，用于测量和减轻词嵌入中的偏见。它可以通过执行两个 (相互可组合的) 去偏置模型来计算多种隐含和显式偏见的度量，并且可以通过四个不同接口进行访问：(a) Web 应用程序，(b) 桌面应用程序，(c) REST-ful API，(d) 命令行应用程序。

    Mar, 2021

  • 基于词典的预训练词嵌入去偏差化

    本研究提出了一种使用字典对预先训练的词嵌入进行去偏置的方法，该方法不需要访问原始的训练资源或了解所使用的词嵌入算法，并可以自动从字典定义中学习无偏置词嵌入所需满足的约束条件。实验结果表明，该方法可以准确消除预先训练的词嵌入中编码的不公平偏见，同时保留有用的语义信息。

    Jan, 2021

  • 双重强化去偏见：定制化词向量以降低性别偏见

    本文研究了人类生成语料库（human-generated corpora）中由来的单词嵌入（word embeddings）存在着的性别偏见问题，以及已有的性别去偏置（debiasing）方法的局限性；在此基础上，提出了一种新的技术，Double Hard Debias，该技术能够在推断并去除性别子空间之前，首先过滤掉语料库中存储的单词使用频率等无关因素。实验证明，与之前的方法相比，本文提出的技术不仅保留了预训练好的单词嵌入的分布语义（distributional semantics），而且能够更有效地降低性别偏见。

    May, 2020

  • 从偏见到平等：消除大型语言模型词向量偏差的新方法

    我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当前最先进的方法。

    Feb, 2024

  • 降低词向量中的偏见

    本研究探索检测嵌入式中最具有性别刻板印象的词语并消除偏见的新方法，揭示名字作为性别偏见的携带者的属性，扩展名字的属性来检测嵌入式中其他类型的偏见，如基于种族、年龄的偏见。

    Jan, 2019

  • 使用 WEAT 评估的概念消除词表示偏见

    通过使用概念器去偏置来后处理传统和上下文的单词嵌入，该方法可以同时消除种族和性别偏见，并且可以有效地利用偏见单词的异构列表。该方法可以减少单词嵌入所表示的种族和性别偏见，其中通过 Caliskan 等人的单词嵌入关联测试（WEAT）来衡量。

    Jun, 2019

  • 去偏差化是否必然导致模型性能下降

    本文提出了一个理论框架，解释了语言模型性别偏差的三个候选机制，发现大部分现有的去偏见方法会导致性能下降，但提出了一种不会降低模型性能的方法，即因果检测微调方法。通过数值实验证明，该方法能够在部分缓解性别偏差的同时避免性能下降。

    Nov, 2022

  • 词嵌入联合多类别去偏置

    本文提出了一种联合多类去偏差方法 SoftWEAT，它可以在减少多个偏差方面取得良好的结果，并通过在三个不同的公开数据集上进行实验，在三个偏差分类（宗教、性别和种族）中去偏差 Word Embeddings，显示出其可行性，同时维持着词嵌入中向量的有意义关系，从而加强了更具代表性的文本数据的基础。

    Mar, 2020

  • 评估上下文词嵌入中的潜在性别偏见

    在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

    Apr, 2019