ACLJun, 2021

量化自然语言处理中的社会偏见：对外在公平度量的一般化及实证比较

PDF
TL;DR本文提出了三个广义公平度量标准，系统分析了不同的参数选择如何导致公平度量方法之间的差异，以更好地了解和处理 NLP/ML 模型中的不公平性。
发现论文，激发创造
  • 使用有偏尺度衡量公平性：对预训练语言模型中偏差量化的调查

    调查表明，对于预训练语言模型的公平度和偏见进行度量的大量指标之间的比较以及使用这些指标进行评估的工作仍然困难，如果不是完全不可能的。建议避免基于嵌入的指标，并专注于下游任务中的公平度评估，以提高未来的公平度比较和评估。

    Dec, 2021

  • 公平度量分数是否足以评估机器学习中的歧视偏见？

    论文研究了当前用于评估机器学习算法在文本数据上进行性别歧视的不足之处的度量方法，着重于 Bios 数据集上的职业预测任务，研究表明常用的性别偏差指数在训练集样本较小时具有不可靠性。

    Jun, 2023

  • 足够公平：在自然语言处理领域规范评估和选择公平性研究的模型

    本研究就 NLP 系统展示的偏见和模型去偏见技术的限制做了梳理和评价，提出了实现公平学习的建议，具体包括明确不同方法之间的关系和与公平性理论的关系，以及处理模型选择问题的声明性工具，以帮助未来的工作。

    Feb, 2023

  • 关于上下文语言表示的内在公正性和外在公正性评估指标

    本文对 19 个语境化语言模型进行了广泛的相关性研究，并发现即使在校正度量不准确、评估数据集中有噪声以及实验配置方式等混淆因素的情况下，内在度量和外在度量不一定在其原始设置中相关。

    Mar, 2022

  • 自然语言处理中偏差和公平性调查

    本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。

    Mar, 2022

  • 内在偏见度量与应用偏见无关

    本文比较了不同任务和实验条件下数百个已训练模型的内在和外在偏差度量标准之间的关系，发现这些度量标准在所有情况下都没有可靠的相关性。作者呼吁重点关注外在的偏差度量标准，并通过创建新的挑战集和注释测试数据使使用这些度量标准更加可行。在此基础上，作者发布了一份基于性别偏见的仇恨言论的代码、新的内部度量标准和一个注释的测试集。

    Dec, 2020

  • 自然语言处理中偏见和伤害的度量

    该研究提出了有关 NLP 技术中有关社会偏见的框架和一系列问题，并且通过几个案例研究来验证了我们的框架和记录问题。

    Aug, 2021

  • 大型语言模型中的偏见和公平性研究综述

    大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

    Sep, 2023

  • 社会偏见探测：语言模型的公平性基准测试

    本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

    Nov, 2023

  • 自然语言处理基准测试质量相关参数综述

    该文介绍了如何通过识别语言属性来发现和衡量数据倾向性，以此建立一个质量量化测度来解决 NLP 中 benchmark 存在的数据倾向性问题。

    Oct, 2022