关于语言模型中的相关性偏差和实证公平性的独立性

Apr, 2023

关于语言模型中的相关性偏差和实证公平性的独立性

On the Independence of Association Bias and Empirical Fairness in Language Models

Laura Cabello, Anna Katrine Jørgensen, Anders Søgaard

TL;DR该论文研究了预先训练的语言模型的偏见和公平性之间的关系，提出了关联偏见和实证公平性的区别，并通过实证结果展示二者之间可能独立存在，最后指出现有的社会学和心理学文献支持这些度量是不相关的。

Abstract

The societal impact of pre-trained language models has prompted researchers to probe them for strong associations between protected attributes and value-loaded terms, from slur to prestigious job titles. Such work is said to probe models for bias or fairness-or such probes 'into repres

pre-trained language models association biases empirical fairness correlation fairness metrics

发现论文，激发创造

社会偏见探测：语言模型的公平性基准测试

本研究提出了一种新的框架，用于探索语言模型中的社会偏见，通过采集探索数据集和利用一种新的公平性评分方法，发现语言模型中的偏见更加复杂，并揭示不同宗教身份导致各种模型中最明显的不平等处理。

Nov, 2023

使用有偏尺度衡量公平性：对预训练语言模型中偏差量化的调查

调查表明，对于预训练语言模型的公平度和偏见进行度量的大量指标之间的比较以及使用这些指标进行评估的工作仍然困难，如果不是完全不可能的。建议避免基于嵌入的指标，并专注于下游任务中的公平度评估，以提高未来的公平度比较和评估。

Dec, 2021

在交叉背景下评估语言模型的偏见态度关联

利用上下文词嵌入的概念投射方法，量化了英语语言模型中社会群体的情感倾向，发现语言模型对性别认同、社会阶级和性取向的信号表现出最有偏见的态度，此方法旨在研究语言模型中的历史偏见，并对设计正义做出贡献，探讨了在语言中被边缘化的群体的相关关系。

Jul, 2023

量化自然语言处理中的社会偏见：对外在公平度量的一般化及实证比较

本文提出了三个广义公平度量标准，系统分析了不同的参数选择如何导致公平度量方法之间的差异，以更好地了解和处理 NLP/ML 模型中的不公平性。

Jun, 2021

大型语言模型中的偏见和公平性研究综述

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

公平信念评估 —— 评估语言模型中的有害信念

通过 FairBelief 分析方法，我们揭示了英语语言模型普遍具有关于特定性别的伤害性信念，不同的训练过程、数据集、模型规模和架构会引发各种程度的伤害性信念。

Feb, 2024

大型语言模型公平性调研

大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

Aug, 2023

探索并缓解语言模型中的社会偏见

为了提高语言模型的公正性，本文提出了多项定义并给出了新的测试和度量方式，旨在减少机器学习在文本生成过程中对性别、种族、语言宗教等社会构建的刻板印象所带来的负面影响。实证结果和人工评估表明，该方法能够在文本生成中减少偏见同时保留重要的上下文信息。

Jun, 2021

数据与模型的机器学习公平性测试：实证研究

通过对模型的前后公平性进行评估，研究发现，在数据分布和训练数据规模发生变化时，数据和模型公平性指标之间存在线性关系。这表明，在训练之前对公平性进行测试可以尽早发现有偏见的数据收集过程，检测生产系统中的数据漂移，并减少全面训练周期的执行，从而减少开发时间和成本。

Jan, 2024

语言建模中公平与隐私之间的权衡

本研究探讨在训练文本生成模型时如何同时兼顾隐私保护和去除社交偏见的问题，经实验证明，保护隐私的同时也会使分类任务中的偏见加剧，为了在双方兼顾的情况下提高模型的效用，在损失一些隐私保护的基础上，通过去偏增强模型可以达到最优化。

May, 2023