通过使用划分群体公平性的全新层次模式，我们提出了对大型语言模型进行偏见评估的方法，并构建了一个跨多个维度的目标属性组合的数据集，GFair。此外，我们还引入了一项新的开放式文本生成任务来揭示大型语言模型中的复杂偏见。通过对流行的大型语言模型进行广泛评估，我们发现存在固有的安全问题。为了从群体公平性的角度减轻大型语言模型的偏见，我们首创了一种新的思维链 (GF-Think) 方法。实验结果表明，此方法在减轻大型语言模型中的偏见以实现公平性方面非常有效。

Dec, 2023

利用大型语言模型（LLM）在各种下游应用中进行分类等工作至关重要，通过公平性可以确保包容性，基于种族、性别等因素实现平等代表和促进负责任的人工智能部署。本研究引入了一个框架来概述与各种公平性定义相一致的公平性规定，每个定义均由不同程度的抽象调控。我们通过在流程中将公平规则纳入，并使用 RAG 选择上下文演示来探索上下文学习的配置和过程。通过与不同 LLM 的实验比较，发现 GPT-4 在准确性和公平性方面的结果都优于其他模型。本研究是利用 LLMs 通过上下文学习实现预测任务公平性的早期尝试之一。

Feb, 2024

大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

Aug, 2023

对公平语言模型进行了全面的综述，介绍了现有文献中关于公平语言模型的最新进展，讨论了导致公平语言模型偏见的因素，总结了评估偏见的度量标准和促进公平的现有算法，并提供了用于评估偏见的资源。

Mar, 2024

大型语言模型中的社会偏见评估和缓解技术的综述，介绍了社会偏见与公平的概念、评估指标和数据集，以及介绍了干预方法的分类和研究趋势，帮助研究人员和实践者更好地理解和防止偏见在大型语言模型中的传播。

Sep, 2023

在 ChatGPT、Gemini 和其他大型语言模型（LLMs）的普适型系统时代，迫切需要公平的人工智能。然而，人工智能与人类交互的复杂性及其社会影响引发了公平标准如何应用的问题。我们回顾了机器学习研究人员用于评估公平性的技术框架，如群体公平性和公平表示，并发现它们在应用于 LLMs 时存在固有的局限性。为了应对这些挑战，我们提出了实现特定应用案例公平性的指南：上下文的重要性，LLMs 开发者的责任以及需求利益相关者在设计和评估过程中的参与。此外，利用 AI 系统的普适能力作为可扩展的 AI 辅助调整方法可能最终可能成为可能，并且甚至是必需的。

May, 2024

通过为大型语言模型提供具体角色，我们开发了一个自动生成角色的流程，使得大型语言模型能够表达多元化的观点，从而解决其存在的公平性问题。

Feb, 2024

通过一系列的实验，我们发现大型语言模型在表格预测任务中往往会继承社会偏见，这从根源上影响了它们的公平性，并且通过标签反转等方法可以显著减少这些偏见。

Oct, 2023

大规模语言模型在信用风险评估中的潜力研究表明，当遵循精心设计的提示并辅以领域特定知识时，这些语言模型可以与传统机器学习模型的性能相媲美。尤其值得注意的是，它们只使用了极少的数据 - 仅 20 个数据点，相比于机器学习模型的 800 个数据点少了 40 倍。大规模语言模型在降低误报率和增强公平性方面表现出色，这两个方面对于风险分析至关重要。虽然我们的结果没有超过传统机器学习模型，但它们突显了大规模语言模型在类似任务中的潜力，并为未来在多样化的机器学习任务中利用大规模语言模型的能力奠定了基础。

Jul, 2023

评估和改善大型语言模型（LLMs）的公平性，通过使用不同的提示性数据集来测量社会偏见，对比模型之间的偏差和毒性度量，并研究偏差 / 毒性降低技术的效果。我们开源分析代码以鼓励测量未来 LLMs 偏见的广泛研究。

Nov, 2023