Mar, 2024

预训练语言模型中减轻性别偏见的投影方法

PDF
TL;DR研究了将最简单的投影去偏方法应用于 BERT 内部表示时，对于缓解 BERT 在内部表示中的性别偏见和精调任务中的观察到的偏见至关重要，结果发现投影方法在内部偏差和下游偏差缓解方面都有效果，但两者并不一定相关。
发现论文，激发创造
  • 预训练语言模型去偏差技术有效性的实证研究

    本文调查了五种最近提出的消除算法：CDA、Dropout、Iterative Nullspace Projection、Self-Debias 和 SentenceDebias 的有效性。实验结果显示，Self-Debias 是最有效的去偏置技术。但是现有去偏置技术在减轻非性别偏差方面表现不一致，同时算法会降低模型的语言建模能力，难以确定去偏置的效果。

    Oct, 2021

  • 利用少量数据干预减轻性别偏见的语言模型性别改造

    本文提出了一种数据干预策略，通过在仅使用 10 个去偏见（干预）的训练样例上微调预训练模型，可显著降低优先考虑任何性别的趋势，从而减少预训练大型语言模型中的性别偏见，而且此方法的使用成本低，是一种高度可行且实用的少量训练样例去偏见方法。

    Jun, 2023

  • 预训练词嵌入的性别保持去偏置

    该研究提出了一种针对 word embeddings 中性别偏见问题的去偏方法，通过保留与性别相关、非歧视性别信息的同时，去除预先训练好的 word embeddings 中的刻板性别歧视偏差，实验结果表明该方法在保留性别相关但非歧视性别信息的同时，能够更好地去偏，适用于一系列 benchmark 数据集和 NLP 应用。

    Jun, 2019

  • 性别去偏见对内部模型表示的影响及其重要性

    本文研究证明了在下游任务中模型性能和模型内部表示中的内在偏差之间的关系，并通过外部微调去除偏差，同时测量内在偏差，以评估其消除效果。通过两个任务和多种偏差度量的实验证明了内在偏差指标是评估去偏差效果的更佳指标，可以暴露浅表去偏差的情况，提供了一种更全面的 NLP 模型偏差研究框架和相关常用工具和资源。

    Apr, 2022

  • 揭示背景刻板印象：测量和减轻 BERT 的性别偏见

    研究比较了英语和德语中职业名称和性别指示目标词之间的关联性，并使用 Bert 模型来检测性别偏见，结果表明非常适合英语，但不适合具有丰富的形态和性别标记的德语等语言，本文强调探究偏见和减轻技术的重要性，特别是在大规模，多语言的语言模型中。

    Oct, 2020

  • BERT 中的性别偏见 -- 通过情感评级测量和分析在现实下游分类任务中的偏见

    本文分析 Bert 模型的性别偏见，并引入一种新的偏见度量，通过在训练管道中系统地改变元素来综合分析 BERT 的偏见，发现几乎所有条件下都存在重大的性别偏见，结果表明这些偏见源于公共 BERT 模型而非任务特定数据，强调了负责任的使用的重要性。

    Jun, 2023

  • 消除信息检索模型中的性别偏见

    研究通过引入性别缓解技术、使用预训练模型以及适配器网络，成功地减轻了性别偏见问题，并提高了信息检索的敏感性。

    Aug, 2022

  • 测量上下文化词表示中的偏见

    本研究基于模板方法提出了一种量化 BERT 中偏见的方法，并且通过性别代词解析的案例研究证明了该方法在捕捉社会偏见方面的优越性，同时也指出了该方法的普遍适用性，包括在多类别设置中使用的种族和宗教偏见。

    Jun, 2019

  • 文本分类的内在性别偏见缓解能力究竟有多强？

    本文探讨了内在的性别偏见缓解策略如何应用于下游的文本分类任务，发现单独使用这些内在策略并不能有效地缓解外在的偏见，建议采用其他公平性干预措施。

    Jan, 2023

  • 应用内在去偏方法于下游任务：机器翻译的挑战与考虑

    通过测量内在消除偏见的方法对神经机器翻译模型的外在偏见的影响，我们发现选择消除偏见的嵌入、词和子词符号的不匹配以及对不同目标语言的影响是影响下游性能和消除偏见成功的三个挑战和不匹配。

    Jun, 2024