本文提出了三个广义公平度量标准,系统分析了不同的参数选择如何导致公平度量方法之间的差异,以更好地了解和处理NLP/ML模型中的不公平性。
Jun, 2021
该研究论文提出,自然语言处理模型中的去偏置方法应当使用敏感信息来实现公平去偏置,而不是盲目地消除它,为了实现公平平衡,研究人员建议采用能够与用户互动并提供反馈的交互式方法,从而在任务表现和偏置缓解之间实现更好和公正的平衡,并支持详尽的解释。
Oct, 2022
本文研究个性化文本生成中的公平性问题,提出了一个可适用于现有模型和实际场景的通用框架,以促进文本的公平性,消除因用户属性造成的偏见。
本文全面评估了常用的预训练语言模型(如BERT、GPT-2等)在种族、性别、种族、年龄等方面所表现出的各种偏见,并介绍了一种工具包,提供了插入数学工具程序以识别偏见的接口,并让用户使用这些度量来测试现有的和自定义的模型。此工具还具有消除偏见的功能。
Feb, 2023
本研究就NLP系统展示的偏见和模型去偏见技术的限制做了梳理和评价,提出了实现公平学习的建议,具体包括明确不同方法之间的关系和与公平性理论的关系,以及处理模型选择问题的声明性工具,以帮助未来的工作。
本研究提出了一个分析讲话者分离公平性的新协议和评分方法,对性别、年龄、口音及发音时长等因素对讲话者分离结果的影响进行了大规模数据集实验,发现讲话者口音和性别会对分离结果产生偏见。
本研究旨在测量大型语言模型中社会和经济偏见的媒体偏见,以及在预训练数据中表现出政治(社会,经济)偏见的先验模型对高风险社会导向任务的公平性的影响。结果发现先验模型确实存在政治倾向,这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中,本研究讨论了这些发现对NLP研究的影响,并提出了减轻不公平的未来方向。
May, 2023
通过FairBelief分析方法,我们揭示了英语语言模型普遍具有关于特定性别的伤害性信念,不同的训练过程、数据集、模型规模和架构会引发各种程度的伤害性信念。
Feb, 2024
本研究评估了性别偏见的NLP模型的统计和因果去偏方法,发现这些方法在目标度量上有效减少了偏见,但不一定改善了其他偏见度量的结果。同时,我们展示了统计和因果去偏技术的组合能够减少通过两种类型的度量来衡量的偏见。
Mar, 2024
当前的语音识别公共数据集往往忽视不同人口群体的公平性问题。本研究提出了一个新数据集Fair-Speech,旨在帮助研究人员评估其语音识别模型在准确性方面对不同人口信息如年龄、性别、种族等的表现。该数据集的发现将促进公平性评估在语音技术中的应用和发展。
Aug, 2024