识别课程评估中的性别偏见
研究通过 BERT 模型和 LIWC 方法对医学生的表现评估数据进行对比,结果显示医学院教授在日常评估中,男性和女性医学生的评价差异不大,但女性更容易受到与家庭和孩子相关的评价。
Jun, 2022
本文调查了 304 篇关于自然语言处理中的性别偏见的论文,分析了社会科学中性别及其类别的定义,并将其与自然语言处理中性别偏见的正式定义联系起来,概述了应用于性别偏见研究的词汇和数据集,并比较和对比了检测和缓解性别偏见的方法。我们发现性别偏见研究存在四个核心限制,提出了解决这些限制的建议作为未来研究的指南。
Dec, 2021
本研究提供了第一个特意设计用于检测系统中不当偏见的基准数据集,即 Equity Evaluation Corpus (EEC),基于此数据集,我们研究了参加 SemEval-2018 任务 1 的 219 个自动情感分析系统,发现其中多个系统在种族或性别方面存在显著的偏差,结果揭示了自动机器学习系统可能会自发强化和永久化不当偏见或歧视。
May, 2018
通过对英语电影本文分析了性别角色的刻画,并运用自然语言处理技术和机器学习技术探讨了男性和女性角色在性格特征上存在的差异和社会刻板印象,致力于推动电影行业中的性别平等。
Nov, 2022
本研究利用两个共指解析数据集,通过 8 种有语法性别的目标语言中的形态分析,第一次提出了机器翻译中性别偏见的挑战集和评估协议,并发现四个流行的工业机器翻译系统和两个最新的学术机器翻译模型在所有测试的目标语言上都容易出现性别偏见翻译错误。
Jun, 2019
本文提出了一种评估方法来测量天生的性别偏见,其通过构建一项挑战任务,通过将性别中性前提与性别具体假设进行配对的方式来进行。研究发现,许多先进的 NLI 模型在使用职业数据集进行训练时会因性别偏见而出现错误,但通过通过扩充训练数据集来确保性别平衡,可以在某些情况下帮助减少此类偏差。
May, 2021
语言作为一种强大的工具,用于展示社会信仰体系,同时也延续了我们社会中普遍存在的偏见。性别偏见是我们社会中最普遍的偏见之一,在线和离线话语中都有所体现。随着语言模型越来越接近人类的流利程度,我们需要深入了解这些系统可能产生的偏见。先前的研究通常将性别偏见视为二元分类任务。然而,我们认识到偏见必须按照相对的尺度来感知,因此我们研究了各种程度偏见的生成和相关性质,并调查了手动注释者对这些偏见的接受程度。具体来说,我们创建了第一个带有性别偏见的 GPT 生成英文文本数据集,并使用最佳 - 最差比例进行了权威评级以获得相对评估的度量。接下来,我们系统分析了观察到的排名中性别偏见主题的变化,并显示了攻击身份是与性别偏见最相关的。最后,我们展示了现有模型在我们的数据集上训练的相关概念上的性能。
Oct, 2023
本论文提出了一个对自然语言文本中的性别偏见进行分解的通用框架,通过多维度的性别偏见分类器可以控制生成模型性别偏差的问题,检测任意文本中的性别偏见,并揭示与性别相关的冒犯性语言。
May, 2020
本文回顾了当今关于识别和减轻 NLP 中的性别偏置的研究,并分析了四种代表性偏置基础上的性别偏见和认识其方法,同时探讨了现有性别去偏方法的优缺点和未来的研究。
Jun, 2019
论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法,着重于 Bios 数据集上的职业预测任务,研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。
Jun, 2023