Nov, 2021

情感分析和毒性检测模型中针对残障人士的偏见识别

PDF
TL;DR本文探讨了在情感和毒性分类模型中对残障人士的歧视问题，并提出了测试工具以检测情感分析模型对残障人士的偏见。结果表明，四种广泛使用的情感分析工具和两种毒性分析模型都存在指涉残障人士的负面偏见。
sociodemographic biasessentiment analysistoxicity classificationpeople with disabilitiesbias identification test in sentiments
发现论文，激发创造
  • 自动式歧视：情感分析模型和毒性分析模型中明显的残障偏见探究

    我们分析情感分析和毒性检测模型，以检测针对残疾人群体的明显偏见。我们使用扰动敏感性分析的偏见识别框架来研究与残疾人有关的社交媒体平台，特别是 Twitter 和 Reddit 上的对话，以了解残疾偏见在现实社交环境中的传播方式。然后，我们创建了 “情感中的偏见识别测试”（BITS）语料库，以量化任何情感分析和毒性检测模型中的明显残疾偏见。我们的研究利用 BITS 来发现四个开放式 AI-as-a-Service（AIaaS）情感分析工具（TextBlob、VADER、Google Cloud Natural Language API、DistilBERT）以及两个毒性检测模型（两个版本的 Toxic-BERT）中的显着偏见。我们的研究结果表明，所有这些模型在针对残疾人群体方面存在显著的明确偏见。

    Jul, 2023

  • 自然语言处理模型中的社会偏见作为残疾人的障碍

    本文针对自然语言处理技术中社会态度的反映及其中的社会偏见问题展开研究，以两个不同实验为案例，说明训练数据本身的社会偏见对模型的影响。同时，讨论了关于残疾人的话题以及在相关文本中存在的不利偏见，并展示了大量相关证据。

    May, 2020

  • 人口统计数据不应成为毒性的原因：利用实例加权减轻文本分类中的歧视

    本文中提出了一种对文本分类数据集中存在的偏见进行处理的方法，该方法通过实例加权对数据进行处理并恢复非歧视分布，从而提高了算法的泛化能力。

    Apr, 2020

  • 检测有毒语料库中的意外社会偏见

    本研究介绍了一个新的数据集 ToxicBias，这是从 Kaggle 竞赛中现有的数据集 “Jigsaw Unintended Bias in Toxicity Classification” 中精心策划的，旨在检测社交偏见及其类别和目标群体。我们使用我们策划的数据集对基于转换器的模型进行训练，并报告了偏见识别、目标生成和偏见影响的基线性能。研究还详细讨论了模型偏见及其缓解。

    Oct, 2022

  • 走向程序公正：揭示有毒语言分类器使用情感信息中的偏见

    研究了毒性语言分类器的公正性，考虑了与身份术语之外的重要概念的交互作用，表明身份术语将其它输入特征的作用超越，所得知识可指导去偏见技术以确保训练集中重要概念的充分代表。

    Oct, 2022

  • 社交媒体上毒性建模中的跨地理偏见检测

    本文提出了一种弱监督的方法来检测在更广泛的地理文化背景下的词汇偏见，通过公开获取的有毒检测模型案例研究，展示了我们的方法如何识别跨地理误差的显著群体，并展示这些分组如何反映这些地理背景下人类对攻击性和无攻击性语言的判断.

    Apr, 2021

  • 使用深度学习方法确定有毒评论和意外模型偏差最小化

    使用 BERT 模型，通过对权重损失的加权处理，检测有毒评论并减少对包括种族、性别、宗教在内的身份特征的意外偏见。与传统的逻辑回归模型相比，经过微调的 BERT 模型在分类和偏见减少方面表现得更好，具有 89% 的准确率。

    Nov, 2023

  • 通过大规模语言模型揭示网络社区中的偏见

    本文利用自然语言生成中存在的偏见漏洞，探索了六个不同在线社区的偏见。通过对 GPT-Neo 1.3B 进行精细调整，该文评估了生成模型的偏见，并通过不同的人口属性来比较情感和毒性价值，从而揭示了各种模型的偏见类型和强度的差异。此外，本文所生成的示例还展示了在偏见研究中使用自动情感和毒性分类器的局限性。

    Jun, 2023

  • 自然语言处理中偏见相关性及其缓解方法的研究

    本文通过研究 NLP 模型中三个社会身份（种族、性别和宗教）之间的偏见相关性，提出在对偏见进行改善时需要综合考虑相关的偏见，而不是各自分开处理，以引导更多相关研究

    May, 2022

  • 研究 200 个情感分析系统中的性别和种族偏见

    本研究提供了第一个特意设计用于检测系统中不当偏见的基准数据集，即 Equity Evaluation Corpus (EEC)，基于此数据集，我们研究了参加 SemEval-2018 任务 1 的 219 个自动情感分析系统，发现其中多个系统在种族或性别方面存在显著的偏差，结果揭示了自动机器学习系统可能会自发强化和永久化不当偏见或歧视。

    May, 2018