大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

Aug, 2023

本研究旨在评估通过大语言模型实现的推荐系统中潜在的社会偏见问题，针对传统推荐系统的不足，提出了一个新的名为 FaiRLLM 评估标准和一套评估指标来评估这一问题。通过该标准，对 ChatGPT 进行评估，发现其在生成推荐时仍然存在对某些敏感属性的不公平性展现。

May, 2023

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

在 ChatGPT、Gemini 和其他大型语言模型（LLMs）的普适型系统时代，迫切需要公平的人工智能。然而，人工智能与人类交互的复杂性及其社会影响引发了公平标准如何应用的问题。我们回顾了机器学习研究人员用于评估公平性的技术框架，如群体公平性和公平表示，并发现它们在应用于 LLMs 时存在固有的局限性。为了应对这些挑战，我们提出了实现特定应用案例公平性的指南：上下文的重要性，LLMs 开发者的责任以及需求利益相关者在设计和评估过程中的参与。此外，利用 AI 系统的普适能力作为可扩展的 AI 辅助调整方法可能最终可能成为可能，并且甚至是必需的。

May, 2024

对公平语言模型进行了全面的综述，介绍了现有文献中关于公平语言模型的最新进展，讨论了导致公平语言模型偏见的因素，总结了评估偏见的度量标准和促进公平的现有算法，并提供了用于评估偏见的资源。

Mar, 2024

人工智能系统中解决公平性和偏差的重要性不可低估。本文填补了大型多模态模型在公平性和偏差研究方面相对于大型语言模型的缺口，提供了 50 个数据集和模型的示例以及影响它们的挑战；我们除了文献中已知的内在偏差和外在偏差两种方式外，还确定了一种新的偏差量化方法（preuse）；我们批判性地讨论了研究人员面对这些挑战时采取的各种方式。我们的方法使用了两个稍有不同的 Google Scholar 搜索词，结果显示出 “大型多模态模型中公平性和偏差” 的搜索词的结果为 33,400 个链接，“大型语言模型中公平性和偏差” 的搜索词的结果为 538,000 个链接。我们相信这项工作有助于填补此领域的研究空白，并向研究人员和其他相关者提供处理多模态人工智能中公平性和偏差问题的见解。

Jun, 2024

利用大型语言模型（LLM）在各种下游应用中进行分类等工作至关重要，通过公平性可以确保包容性，基于种族、性别等因素实现平等代表和促进负责任的人工智能部署。本研究引入了一个框架来概述与各种公平性定义相一致的公平性规定，每个定义均由不同程度的抽象调控。我们通过在流程中将公平规则纳入，并使用 RAG 选择上下文演示来探索上下文学习的配置和过程。通过与不同 LLM 的实验比较，发现 GPT-4 在准确性和公平性方面的结果都优于其他模型。本研究是利用 LLMs 通过上下文学习实现预测任务公平性的早期尝试之一。

Feb, 2024

本文通过大型语言模型（LMs）彻底研究和研究了同行评审中的公平性差异问题，在多个受保护属性的兴趣下，包括作者性别，地理，作者和机构声望等方面，观察到差异水平不同，文本特征在减少偏见中是必不可少的，同时研究了同行评审过程的自动化机器评审系统的一个具体例子，并提供了评审生成和评分任务的基准模型，这个数据集可用作基准。

Nov, 2022

该研究论文综述了大型语言模型 (LLMs) 在信息检索系统中引起的偏见和不公平性问题，以及相关的缓解策略，主要聚焦于数据收集、模型开发和结果评估三个关键阶段，并提出了未来研究中可能面临的问题和挑战。

Apr, 2024

研究探讨了大语言模型在推荐系统中对流行度偏差的贡献和缓解的机会，并提出了一种新的测量流行度偏差的指标，通过对电影推荐任务的比较发现，即使没有明确的缓解方法，大语言模型推荐系统仍然表现出较少的流行度偏差。

Jun, 2024