Apr, 2023

去偏见技巧的有效性：本土定性分析

PDF
TL;DR本文提供了对已预训练语言模型去偏见技术效果的土著观点。 现有技术主要针对美国种族偏见，无法有效捕捉其他国家（如新西兰的毛利人）中代表性不足的土著人群，需要结合本地知识和理解来确保算法的公正性，特别是解决资源受限的社会问题。
indigenous perspectivedebiasing techniquespre-trained language modelsunderrepresented populationslocal knowledge
发现论文，激发创造
  • 预训练语言模型去偏差技术有效性的实证研究

    本文调查了五种最近提出的消除算法：CDA、Dropout、Iterative Nullspace Projection、Self-Debias 和 SentenceDebias 的有效性。实验结果显示，Self-Debias 是最有效的去偏置技术。但是现有去偏置技术在减轻非性别偏差方面表现不一致，同时算法会降低模型的语言建模能力，难以确定去偏置的效果。

    Oct, 2021

  • 解决预训练语言模型中的偏见：当前趋势和被忽视的社会群体

    预训练语言模型在当前和未来的创新中的好处和能力对任何社会都至关重要，然而，引入和使用语言模型会带来偏见和歧视，引发对平等、多样性和公平的关切，并需要解决。这项研究通过综述综合分析了识别和减轻语言模型中偏见的当前趋势和限制的技术，其中有关减轻偏见的方法的概述被分为度量指标、基准数据集和减轻策略。该调查的重要性和新颖性在于探讨了被忽视的社会的视角，我们认为当前处理偏见问题的做法不能简单地 “插入” 以解决被忽视的社会的需求。我们使用新西兰的例子提出了采用现有技术来适应被忽视的社会的要求。

    Dec, 2023

  • 大型语言模型中的公平性偏差和去偏差之旅

    这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

    May, 2023

  • 自然语言理解中的去偏方法使得偏见更容易被接受

    通过提出一种基于探究的框架，研究了自然语言理解中的偏见修正方法。结果表明，推迟偏见的方法会导致更多的偏见被编码到模型的内部表示中。

    Sep, 2021

  • 多语言词嵌入去偏见：以印度三种语言为案例研究

    该论文提出了一种改进的去偏置单语词嵌入方法，以便于能够在跨语言情境下得到良好泛化，通过考虑不同的偏置量化方法以及单 / 多语言情境下不同的去偏置方法，证明了去偏置方法在下游 NLP 应用中的重要性。作者提出的方法在英语以及印地语、孟加拉语和泰卢固语三种印度语言的多语言嵌入中建立了最先进的效果，这将为基于词嵌入的不偏执下游 NLP 应用程序的创建打开新机遇。

    Jul, 2021

  • 评估和减轻多语言环境中的性别偏见

    这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战，并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准，同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。

    Jul, 2023

  • 探索并缓解语言模型中的社会偏见

    为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

    Jun, 2021

  • MAFIA: 多适配器融合式全包含语言模型

    通过使用结构化知识和大型生成模型，在多个偏见维度上以半自动的方式构建多样化反事实数据扩充（CDA），我们提出了一种模块化地消除预训练语言模型中的多个偏见维度。我们强调现有的去偏见方法未考虑多个社会偏见之间的相互作用，并提出了一种在各种社会偏见之间利用协同效应、能够同时进行多偏见去偏见的模型。通过在多个任务和多种语言上进行广泛评估，证明了我们的方法的有效性。

    Feb, 2024

  • 预训练印度语言模型的高效性别去偏见

    本文针对印度语言，量化职业中的性别偏见，并通过有效的微调方法减缓其中存在的偏见，以建立更公平的系统。

    Sep, 2022

  • 在没有民族信息的情况下进行 NLP 模型去偏见化

    本研究提出了一种去偏见的方法，利用辅助模型检测出具有偏见的数据样本并在训练过程中进行下权重处理，从而实现在没有昂贵的人口统计学注释过程的情况下缓解社会偏见。

    Dec, 2022