ACLJan, 2021

自动去偏见检测有害语言面临的挑战

PDF
TL;DR由于文本分类器开发中的偏见关联限制了公平性和准确性，因此我们调查了最近介绍的去偏置方法，作用于检测有毒语言的文本分类数据集和模型，重点关注词汇（例如骂人话、侮辱性言论、身份称谓）和方言标记（特别是非裔美国英语）。我们的全面实验表明，现有的方法在防止当前毒性检测器中出现有偏见的行为方面存在局限性。然后，我们提出了一种自动的方言感知数据校正方法作为概念验证。尽管采用了合成标签，但该方法减少了方言与毒性之间的关联。总的来说，我们的发现表明，在训练有毒性偏见性数据的模型时去偏置并不如简单重标记数据以消除现有偏见有效。
toxic languagedebiasing methodslexical markersdialectal markersdata correction
发现论文，激发创造
  • 使用有毒语料库对语言模型进行脱毒

    本研究探讨自回归语言模型生成的上下文倾向于产生不良偏见和毒性，提出使用有害文本作为附加资源组合两种去偏见方法来减少毒性，结果表明有害文本可以显着减少语言生成过程的毒性，为现有去偏见方法提供了补充。

    Apr, 2022

  • 通过不变量合理化降低有害语言检测中的偏见

    通过使用不变量理性化 (InvRat) 方法，我们可以降低对某些语法模式的误判，从而避免使用带有偏见的训练数据集导致毒性过滤器产生偏见，进而加剧群体边缘化的现象。

    Jun, 2021

  • 自诊断和自去偏见：降低 NLP 中基于语料库的偏见的提案

    本文介绍了一种基于自我诊断的解码算法，可减少语言模型产生问题文本的概率。该算法不依赖于手动策划的单词列表，也不需要任何训练数据或模型参数的更改，并认为这是解决语言模型产生偏见文本问题的重要一步。

    Feb, 2021

  • 降低仇恨言论检测中的种族偏见

    本文研究针对美国非裔英语的歧视在当前仇恨言论数据集中存在的问题，并提出对抗性训练的方法来降低该歧视，实验结果表明该方法可以显著降低美国非裔英语文本的误判率，而对于仇恨言论分类的表现影响很小。

    May, 2020

  • 解释的力量：走向自动去偏见的仇恨言论检测

    本研究提出了一种自动的误用检测器，该检测器依赖于解释方法来检测潜在的偏见，并基于此构建了端到端的去偏扭框架，适用于文本分类器而无需任何外部资源。

    Sep, 2022

  • 标注员态度：标注员信念和身份对有害语言检测的偏见

    通过两项在线研究探究了评注者身份和信仰对有毒语言的评注的影响，发现评注者的身份和信仰与有毒性评分之间有很强的关联，表明对有毒语言的注释需要在社会变量中予以情境化考虑，进而提高有毒语言的注释和检测的准确性。

    Nov, 2021

  • 检测有毒语料库中的意外社会偏见

    本研究介绍了一个新的数据集 ToxicBias，这是从 Kaggle 竞赛中现有的数据集 “Jigsaw Unintended Bias in Toxicity Classification” 中精心策划的，旨在检测社交偏见及其类别和目标群体。我们使用我们策划的数据集对基于转换器的模型进行训练，并报告了偏见识别、目标生成和偏见影响的基线性能。研究还详细讨论了模型偏见及其缓解。

    Oct, 2022

  • 提炼本质，舍弃瑕疵！通过对事实因果效应进行去偏差处理的有毒语言检测

    通过引入 Counterfactual Causal Debiasing Framework（CCDF）来解决毒性语言检测中的词汇偏见问题，使得模型在准确性和泛化能力上都表现出优秀的性能，并且相较于竞争模型，在公平性方面取得了显著的提升。

    Jun, 2024

  • 减少辱骂语言检测中的性别偏见

    本文研究滥用语言检测模型的偏见问题，通过使用不同的滥用语言数据集和预训练词嵌入和模型架构，分析性别偏见并尝试了三种减轻 偏见的方法：去偏向词嵌入、性别交换数据扩充以及使用更大的语料库进行微调。这些方法有效的降低了性别偏见 90-98%，并且可以扩展到解决其他情况下的偏见问题。

    Aug, 2018

  • 减轻人为偏见的冒犯性语言检测的语言模式开发

    通过语言数据扩增方法，减少标注过程中的偏见，借助机器的力量提高标注过程的准确性和公平性，以改善跨多种语言的冒犯性语言分类任务，并减少社交媒体上冒犯性内容的传播。

    Dec, 2023