ACLMar, 2021

DebIE: 词嵌入空间隐式和显式去偏差平台

PDF
TL;DRDebIE 是第一个集成化平台，用于测量和减轻词嵌入中的偏见。它可以通过执行两个 (相互可组合的) 去偏置模型来计算多种隐含和显式偏见的度量，并且可以通过四个不同接口进行访问：(a) Web 应用程序，(b) 桌面应用程序，(c) REST-ful API，(d) 命令行应用程序。
nlpbiasword embeddingsdebiasingdebie
发现论文，激发创造
  • 分布式词向量空间中隐式和显式去偏见的一般框架

    本论文提出了一个通用的去除词向量中性别、种族等偏见的方法，并通过新的评估指标验证了该框架的有效性，同时在跨语言文本中成功实现了去偏。

    Sep, 2019

  • 从偏见到平等：消除大型语言模型词向量偏差的新方法

    我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当前最先进的方法。

    Feb, 2024

  • 使用 WEAT 评估的概念消除词表示偏见

    通过使用概念器去偏置来后处理传统和上下文的单词嵌入，该方法可以同时消除种族和性别偏见，并且可以有效地利用偏见单词的异构列表。该方法可以减少单词嵌入所表示的种族和性别偏见，其中通过 Caliskan 等人的单词嵌入关联测试（WEAT）来衡量。

    Jun, 2019

  • 荷兰语词嵌入的偏差评估

    本研究使用 Word Embeddings Association Test (WEAT)、Clustering 和 Sentence Embeddings Association Test (SEAT) 等方法，衡量荷兰语词嵌入中的性别偏见，并使用 Hard-Debias 和 Sent-Debias 调控方法，探索性别偏见对下游任务的影响。结果表明，传统和上下文嵌入中存在性别偏见，研究人员提供了翻译荷兰语数据集和减轻偏误的嵌入。

    Oct, 2020

  • 关于测量和减轻词嵌入偏见推断的研究

    通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

    Aug, 2019

  • DeBayes: 一种用于消除网络嵌入偏差的贝叶斯方法

    本研究提出了一种使用偏置先验的贝叶斯方法（DeBayes），来学习去偏置的嵌入，以实现更加公平的链接预测，有效应对机器学习算法中人种、性别、年龄等个人隐私信息对算法造成的影响。

    Feb, 2020

  • 基于词典的预训练词嵌入去偏差化

    本研究提出了一种使用字典对预先训练的词嵌入进行去偏置的方法，该方法不需要访问原始的训练资源或了解所使用的词嵌入算法，并可以自动从字典定义中学习无偏置词嵌入所需满足的约束条件。实验结果表明，该方法可以准确消除预先训练的词嵌入中编码的不公平偏见，同时保留有用的语义信息。

    Jan, 2021

  • 双重强化去偏见：定制化词向量以降低性别偏见

    本文研究了人类生成语料库（human-generated corpora）中由来的单词嵌入（word embeddings）存在着的性别偏见问题，以及已有的性别去偏置（debiasing）方法的局限性；在此基础上，提出了一种新的技术，Double Hard Debias，该技术能够在推断并去除性别子空间之前，首先过滤掉语料库中存储的单词使用频率等无关因素。实验证明，与之前的方法相比，本文提出的技术不仅保留了预训练好的单词嵌入的分布语义（distributional semantics），而且能够更有效地降低性别偏见。

    May, 2020

  • FineDeb: 为语言模型提供去偏置的框架

    提出了一种两阶段的去偏置框架 FineDeb，用于语言模型中的人口统计子集偏差问题，在先前的语言模型学习嵌入之后开始，然后对语言建模目标进行微调，与其他方法相比，它提供了更强的去偏置效果。

    Feb, 2023

  • 推进句子表示的去偏见化

    调查了句子级别表达中社会偏见存在的情况，提出了另一种更有效减弱偏差的方法 Sent-Debias，并在保持性能的同时，用于情感分析，语言可接受性和自然语言理解等句子级下游任务。

    Jul, 2020