May, 2018

研究 200 个情感分析系统中的性别和种族偏见

PDF
TL;DR本研究提供了第一个特意设计用于检测系统中不当偏见的基准数据集，即 Equity Evaluation Corpus (EEC)，基于此数据集，我们研究了参加 SemEval-2018 任务 1 的 219 个自动情感分析系统，发现其中多个系统在种族或性别方面存在显著的偏差，结果揭示了自动机器学习系统可能会自发强化和永久化不当偏见或歧视。
发现论文，激发创造
  • 超越英语：针对四种语言情感分析偏差的反事实测试

    通过构建评估语料库，我们针对四种语言进行了性别、种族和移民偏见的对比评估，揭示了预训练模型对系统所引入的偏见，并提出更针对性的缓解策略。

    May, 2023

  • 关于仇恨言论和辱骂语言检测数据集中的种族偏见问题

    本文研究了五个 Twitter 数据集上使用的基于分类器的识别恶意语言的技术中的种族歧视问题，并在使用这些技术时可能产生的不平等负面影响上发出了警告。

    May, 2019

  • 英语、 西班牙语和阿拉伯语情感分析系统中的交叉偏见：多语言边缘地带的映射

    本研究使用多语言和交叉框架以及下游任务研究公平性问题，提出四个多语言公平评估语料库和一个新的统计框架来研究自然语言处理中的社会偏见，结果表明许多系统在性别、种族、民族和交叉社会偏见方面表现出显著的偏见。

    Apr, 2022

  • 仇恨言论和辱骂语料库中的交叉偏见

    本研究通过对 Twitter 数据集进行分类，发现算法对于辱骂言论和仇恨言论的判别对非裔美国人和非裔男性的偏见较强，这提供了有关算法数据集中交叉偏见的首个系统性证据。

    May, 2020

  • 自然语言语料库所自动生成的语义带有类似人类的偏见

    这份研究首次展示，应用标准机器学习到日常语言时会形成类似于人类的语义偏见，同时该研究还提供了用于评估文本偏见的新方法。

    Aug, 2016

  • 文本中的性别偏见：标记数据集和词库

    该研究的主要贡献是，通过收集、注释和增强相关句子以促进检测英文文本中的性别偏见，公开提供已标记的数据集和详尽的词汇表，其中所包含的偏见子类型包括：通用他，通用她，明确标记性别和性别新词。同时，利用词嵌入模型进一步增强了所收集的词汇表。

    Jan, 2022

  • 沿着种族、性别和综合交错的轴线分析仇恨言论数据

    为了解决仇恨言论不断增长的问题，本文探索了种族、性别交叉轴线上仇恨言论数据集的分析，发现 African American English、男性和 AAE + 男性推文中存在强烈的偏见，BERT 模型会传播这种偏见，但通过平衡训练数据可以实现更公平的性别模型。

    May, 2022

  • BERT 中的性别偏见 -- 通过情感评级测量和分析在现实下游分类任务中的偏见

    本文分析 Bert 模型的性别偏见，并引入一种新的偏见度量，通过在训练管道中系统地改变元素来综合分析 BERT 的偏见，发现几乎所有条件下都存在重大的性别偏见，结果表明这些偏见源于公共 BERT 模型而非任务特定数据，强调了负责任的使用的重要性。

    Jun, 2023

  • 关于关系提取中的性别偏见的认识

    本文研究了神经关系抽取中的性别偏见问题，并提出了 WikiGenderBias 数据集，通过该数据集评估了系统的性别偏见，并分析了名称去标记化、词向量的困难去偏见和反事实数据增强对性别偏见和系统性能的影响。

    Nov, 2019

  • 用于评估仇恨言论识别中人口统计偏见的多语 Twitter 语料库和基准

    本研究到了关于文档分类模型公平性评估的现有研究，主要使用无作者人口属性基准事实的合成单语言数据。在该工作中，作者们汇编并发布了一个多语言 Twitter 语料库，用于推断作者的四个人口属性：年龄，国家，性别和种族 / 民族。该语料库涵盖了五种语言：英语、意大利语、波兰语、葡萄牙语和西班牙语。我们使用 Figure Eight 的众包平台评估了推断出的人口属性标签的准确性。为了检查可能引起偏见的因素，我们对英语语料库进行了人口预测的实证分析。我们评估了四种流行文档分类器的性能，并评估了基准分类器在作者级人口属性上的公平性和偏见。

    Feb, 2020