跨越英语的语言模型公平性:现存问题与挑战
探讨预训练多语言语言模型的组公平性,通过创建一个新的平行洞察测试实例的多语言数据集(MozArt)及使用人口统计信息来评估三种多语言模型(mBERT,XLM-R和mT5),我们发现这三种模型在四种目标语言中表现出不同程度的组不公平性,例如在西班牙语中表现出接近相等的风险,但在德语中表现出高水平的不平等。
Oct, 2022
这项研究探讨在多语言环境中评估和减少性别偏见在语言模型中的挑战,并通过 DisCo 扩展到不同的印度语言来创建了一个评估预训练屏蔽语言模型中性别偏见的基准,同时评估了各种方法对 SOTA 大规模多语言模型减轻此类偏见的有效性。
Jul, 2023
大语言模型带来了强大的性能和发展前景,并广泛应用于现实世界。然而,这些模型可能从未经处理的训练数据中捕捉到社会偏见,并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究,介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法,并讨论了公平性发展中的挑战和未来方向。
Aug, 2023
本研究提出了一种新的框架,用于探索语言模型中的社会偏见,通过采集探索数据集和利用一种新的公平性评分方法,发现语言模型中的偏见更加复杂,并揭示不同宗教身份导致各种模型中最明显的不平等处理。
Nov, 2023
预训练语言模型在当前和未来的创新中的好处和能力对任何社会都至关重要,然而,引入和使用语言模型会带来偏见和歧视,引发对平等、多样性和公平的关切,并需要解决。这项研究通过综述综合分析了识别和减轻语言模型中偏见的当前趋势和限制的技术,其中有关减轻偏见的方法的概述被分为度量指标、基准数据集和减轻策略。该调查的重要性和新颖性在于探讨了被忽视的社会的视角,我们认为当前处理偏见问题的做法不能简单地“插入”以解决被忽视的社会的需求。我们使用新西兰的例子提出了采用现有技术来适应被忽视的社会的要求。
Dec, 2023
对公平语言模型进行了全面的综述,介绍了现有文献中关于公平语言模型的最新进展,讨论了导致公平语言模型偏见的因素,总结了评估偏见的度量标准和促进公平的现有算法,并提供了用于评估偏见的资源。
Mar, 2024
该研究旨在为从业者提供技术指南,以评估大型语言模型(LLMs)使用情况中的偏见和公平风险。研究通过分类LLM偏见和公平风险,并形式化定义各种评估指标来提供决策框架,以确定特定LLM使用情况下应使用哪些指标。
Jul, 2024
本研究解决了语言模型在特定上下文中缺乏统一公平性定义的问题,尤其是在中型和大型模型之间的区别。通过系统的调查和新分类法,该论文清晰地阐述了不同的公平性概念,并通过实验展示了其实际影响。研究的重大发现可以促进语言模型领域的创新与进步。
Jul, 2024
本研究针对大型语言模型(LLMs)中的公平性问题进行探讨,突显其在处理边缘群体时可能导致歧视性结果的风险。通过分析偏见原因并总结评估偏见的策略及促进公平的算法,研究为公平LLMs的文献提供系统性的概述,并提出当前研究中面临的挑战和未解的问题,助力推动公平技术的发展。
Aug, 2024
本文探讨大型语言模型(LLMs)中的公平性问题,尤其是它们对边缘化群体可能产生的歧视性结果。通过系统回顾最近的研究进展,文章提供了对偏见原因的分析,以及评估和促进公平性的方法,旨在提升LLMs的应用公平性并解决当前研究中的挑战。
Aug, 2024