ACLJul, 2020

推进句子表示的去偏见化

PDF
TL;DR调查了句子级别表达中社会偏见存在的情况，提出了另一种更有效减弱偏差的方法 Sent-Debias，并在保持性能的同时，用于情感分析，语言可接受性和自然语言理解等句子级下游任务。
natural language processingsocial biasessentence-level representationssent-debiasfair nlp
发现论文，激发创造
  • 从偏见到平等：消除大型语言模型词向量偏差的新方法

    我们提出了 DeepSoftDebias 算法，该算法使用神经网络执行 “软去偏见”，并在各种 SOTA 数据集、准确度指标和复杂的 NLP 任务中进行了全面评估。我们发现 DeepSoftDebias 在减少性别、种族和宗教偏见方面优于当前最先进的方法。

    Feb, 2024

  • 通过对比词对来消除句子嵌入器的偏见

    去除自然语言处理中句子嵌入中的线性和非线性偏见信息，以不影响下游性能。通过比较常见去偏方法和考虑非线性信息的去偏指标，探索了这种方法。

    Mar, 2024

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • 衡量句子编码器中的社会偏见

    本研究在 Word Embedding Association Test 的基础上，对句子编码进行了偏差测量，实验包括了包括 ELMo 和 BERT 在内的多种方法，并提议了未来的研究方向。

    Mar, 2019

  • 去偏置化预训练上下文嵌入

    提出一种 fine-tuning 方法，可在令牌或句子级别上应用于去偏置预训练上下文嵌入。使用性别偏见为例，我们使用多个 SoTA 上下文表示在多个基准数据集上进行系统研究，并发现对于上下文嵌入模型的所有令牌和所有层应用令牌级去偏置会产生最佳性能。

    Jan, 2021

  • 评估情境化单词表征中的社会和交叉偏见

    本文分析了最先进的语境词表示模型，如 BERT 和 GPT-2，对于性别，种族和交叉身份认同的偏差情况，并提出了一种新颖的方法对词语级别上的偏差进行评估。

    Nov, 2019

  • 预训练词嵌入的性别保持去偏置

    该研究提出了一种针对 word embeddings 中性别偏见问题的去偏方法，通过保留与性别相关、非歧视性别信息的同时，去除预先训练好的 word embeddings 中的刻板性别歧视偏差，实验结果表明该方法在保留性别相关但非歧视性别信息的同时，能够更好地去偏，适用于一系列 benchmark 数据集和 NLP 应用。

    Jun, 2019

  • 测量上下文化词表示中的偏见

    本研究基于模板方法提出了一种量化 BERT 中偏见的方法，并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性，同时也指出了该方法的普遍适用性，包括在多类别设置中使用的种族和宗教偏见。

    Jun, 2019

  • 关于测量和减轻词嵌入偏见推断的研究

    通过自然语言推理任务设计机制，测量陈旧的语义观念对词向量嵌入产生的影响。通过静态和动态嵌入中的偏见消除策略，减少了对其下游模型的无效推断，特别是对性别偏见的消除策略能够扩展到上下文嵌入中静态组件的有选择性应用（ELMo、BERT）。

    Aug, 2019

  • 猪涂口红：去偏置方法虽然掩盖了词嵌入中系统性的性别偏差，但并未消除它们

    本研究探讨了文本话语中的性别偏见现象，评估了现有去偏置模型的实际效果，认为现有去偏置方法虽然在表面上达到了降低偏见的效果，但实际上却只是掩盖了偏见，并认为现有技术不足以构建性别中性的计算模型。

    Mar, 2019