大语言模型带来了强大的性能和发展前景，并广泛应用于现实世界。然而，这些模型可能从未经处理的训练数据中捕捉到社会偏见，并将其传播到下游任务。本文全面回顾了关于大语言模型中的公平性的相关研究，介绍了中等规模的模型和大规模的模型分别从内在偏见和外在偏见的角度引入了评估指标和去偏方法，并讨论了公平性发展中的挑战和未来方向。

Aug, 2023

对大型语言模型的研究发现，它们往往存在社会偏见，尤其在印度和西方语境下，而引入一种称为Instruction Prompting的简单干预方法能够显著减少这种偏见。

Sep, 2023

这项研究通过对 24 种语言进行 Word Embedding Association Test (WEAT) 的扩展，以更广阔的研究视角揭示了语言模型的偏见，并通过在全球范围内捕捉有关每种语言的文化相关信息，进一步提高了数据的质量。文章还展示了对毒性、庸能主义等方面的新偏见维度的研究，并通过对印度六种常用语言进行了全面的地区偏见分析，最后通过对嵌入方法的广泛比较强调了这些社会偏见和新维度的重要性，同时强调了解决这些问题对建立更公平的语言模型的必要性。

Oct, 2023

预训练语言模型在当前和未来的创新中的好处和能力对任何社会都至关重要，然而，引入和使用语言模型会带来偏见和歧视，引发对平等、多样性和公平的关切，并需要解决。这项研究通过综述综合分析了识别和减轻语言模型中偏见的当前趋势和限制的技术，其中有关减轻偏见的方法的概述被分为度量指标、基准数据集和减轻策略。该调查的重要性和新颖性在于探讨了被忽视的社会的视角，我们认为当前处理偏见问题的做法不能简单地“插入”以解决被忽视的社会的需求。我们使用新西兰的例子提出了采用现有技术来适应被忽视的社会的要求。

Dec, 2023

我们提出了一个名为GPTBIAS的偏见评估框架，它利用LLMs的高性能来评估模型的偏见，提供偏见分数以及包括偏见类型、受影响的人群、关键词和改进建议在内的详细信息，通过广泛的实验证明了该评估框架的有效性和可用性。

Dec, 2023

大型语言模型偏差指数（LLMBI）通过量化和解决大型语言模型（如GPT-4）中固有的偏见，为多元领域中越来越普遍和重要的大型语言模型引入了一种创新的度量方法。该研究构建了LLMBI，通过包括但不限于年龄、性别和种族偏见在内的多个偏见维度的复合评分系统，系统地衡量和缓解可能影响模型响应的偏见。通过收集和注释大型语言模型的响应，应用先进的自然语言处理（NLP）技术进行偏见检测，并通过专门设计的数学公式计算LLMBI得分，该公式综合了多个偏见维度的加权平均、数据集多样性不足的惩罚和情感偏见的校正。实证分析使用OpenAI的API响应进行，在代表性的偏见检测方法中采用了先进的情感分析。研究发现，虽然LLMs在文本生成方面展示了令人印象深刻的能力，但在不同维度上存在不同程度的偏见。LLMBI为比较不同模型和不同时期的偏见提供了量化度量，为系统工程师、研究人员和监管机构提供了重要工具，以提高LLMs的公平性和可靠性。它突显了LLMs在模仿无偏人类响应方面的潜力，并强调了持续监测和校准此类模型以与不断发展的社会规范和道德标准保持一致的必要性。

Dec, 2023

本研究评估了多语种大型语言模型的性能，发现GPT-4o和Llama-3 70B模型在大多数Indic语言中表现最佳。我们构建了两个评估设置的排行榜，并分析了人类评估和语言模型评估之间的一致性，发现在两两比较的设置下，人类和语言模型的一致性较高，但在直接评估中特别是对于孟加拉语和奥迪亚语等语言，一致性下降。我们还检测了人类和语言模型评估中的各种偏见，并发现GPT评估器存在自我偏见。本研究对多语种大型语言模型的评估具有重要意义。

Jun, 2024

预训练语言模型存在各种社会偏见，本研究旨在对孟加拉语进行内在偏见测量，探讨现有偏见测量方法在孟加拉语中的必要改进，并研究上下文长度变化对偏见测量的影响，通过实验证明偏见度量指标对于上下文长度存在明显依赖性，在孟加拉语偏见分析中需要细致考虑。我们的工作为孟加拉语偏见测量提供了一个基础，我们公开提供所有资源以支持未来的研究。

Jun, 2024

当前需要面临的问题是，是否需要专门面向低资源语言的大型语言模型（LLMs）？我们通过比较英语导向的LLMs与细调编码解码模型在孟加拉语下游任务中的表现，发现现有LLMs在生成孟加拉语脚本方面面临着挑战，同时也存在着一些数据集方面的偏见，因此需要开发更高效的孟加拉语导向LLM。

Jun, 2024

我们研究了大型语言模型（LLMs）在孟加拉语中生成输出时存在的两种社会偏见，并提出了针对孟加拉语中偏见检测的两种探测技术，为偏见测量基准提供了一个策划数据集，这是我们所知道的首个涉及孟加拉语LLMs偏见评估的研究。

Jul, 2024