大型语言模型的公平性研究:三小时概览
本研究调查了多语言和非英文环境下公平性问题,并强调当前研究的不足之处及因英语环境限制所面临的挑战。作者认为,在构建公平性数据集方面,世界上众多多样化的文化和语言使得实现全面覆盖变得不可行,因此需超越当前仅仅集中在特定维度和类型偏见的数据集驱动方法,以便在不同的语言和文化间实现扩展。
Feb, 2023
大语言模型带来了强大的性能和发展前景,并广泛应用于现实世界。然而,这些模型可能从未经处理的训练数据中捕捉到社会偏见,并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究,介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法,并讨论了公平性发展中的挑战和未来方向。
Aug, 2023
通过使用划分群体公平性的全新层次模式,我们提出了对大型语言模型进行偏见评估的方法,并构建了一个跨多个维度的目标属性组合的数据集,GFair。此外,我们还引入了一项新的开放式文本生成任务来揭示大型语言模型中的复杂偏见。通过对流行的大型语言模型进行广泛评估,我们发现存在固有的安全问题。为了从群体公平性的角度减轻大型语言模型的偏见,我们首创了一种新的思维链(GF-Think)方法。实验结果表明,此方法在减轻大型语言模型中的偏见以实现公平性方面非常有效。
Dec, 2023
利用大型语言模型(LLM)在各种下游应用中进行分类等工作至关重要,通过公平性可以确保包容性,基于种族、性别等因素实现平等代表和促进负责任的人工智能部署。本研究引入了一个框架来概述与各种公平性定义相一致的公平性规定,每个定义均由不同程度的抽象调控。我们通过在流程中将公平规则纳入,并使用RAG选择上下文演示来探索上下文学习的配置和过程。通过与不同LLM的实验比较,发现GPT-4在准确性和公平性方面的结果都优于其他模型。本研究是利用LLMs通过上下文学习实现预测任务公平性的早期尝试之一。
Feb, 2024
对公平语言模型进行了全面的综述,介绍了现有文献中关于公平语言模型的最新进展,讨论了导致公平语言模型偏见的因素,总结了评估偏见的度量标准和促进公平的现有算法,并提供了用于评估偏见的资源。
Mar, 2024
通过聚合实现可靠和公平的大型语言模型输出,而无需专门的硬件或重训练,REQUAL-LM 方法在解决 LLM 可靠性和公平性方面展现了很好的效果。
Apr, 2024
该研究旨在为从业者提供技术指南,以评估大型语言模型(LLMs)使用情况中的偏见和公平风险。研究通过分类LLM偏见和公平风险,并形式化定义各种评估指标来提供决策框架,以确定特定LLM使用情况下应使用哪些指标。
Jul, 2024
本研究解决了语言模型在特定上下文中缺乏统一公平性定义的问题,尤其是在中型和大型模型之间的区别。通过系统的调查和新分类法,该论文清晰地阐述了不同的公平性概念,并通过实验展示了其实际影响。研究的重大发现可以促进语言模型领域的创新与进步。
Jul, 2024
本研究针对大型语言模型(LLMs)中的公平性问题进行探讨,突显其在处理边缘群体时可能导致歧视性结果的风险。通过分析偏见原因并总结评估偏见的策略及促进公平的算法,研究为公平LLMs的文献提供系统性的概述,并提出当前研究中面临的挑战和未解的问题,助力推动公平技术的发展。
Aug, 2024
本研究针对大型语言模型(LLMs)中的偏见问题进行全面调查,填补了当前研究中的空白。通过系统分类偏见的类型、来源和影响,并评估现有的缓解策略,本文提出了未来提升模型公平性和公正性的研究方向。研究结果为关注LLMs偏见的研究人员、从业者和政策制定者提供了重要资源。
Sep, 2024