本文分析了影响社会偏见结果的文本补全的具体选择、度量、自动工具和抽样策略，发现在不同的实验设置下，测量偏见的实践很容易产生相互矛盾的结果，并提供了有关开放式语言生成中报告偏见的建议，从而更完整地展示给定语言模型所展示的偏见。

May, 2022

评估和改善大型语言模型（LLMs）的公平性，通过使用不同的提示性数据集来测量社会偏见，对比模型之间的偏差和毒性度量，并研究偏差 / 毒性降低技术的效果。我们开源分析代码以鼓励测量未来 LLMs 偏见的广泛研究。

Nov, 2023

本文利用自然语言生成中存在的偏见漏洞，探索了六个不同在线社区的偏见。通过对 GPT-Neo 1.3B 进行精细调整，该文评估了生成模型的偏见，并通过不同的人口属性来比较情感和毒性价值，从而揭示了各种模型的偏见类型和强度的差异。此外，本文所生成的示例还展示了在偏见研究中使用自动情感和毒性分类器的局限性。

Jun, 2023

本研究通过基于心理学方法的创新偏见测量方式，发现大型语言模型存在潜在的内隐偏见，并探讨了其在性别和种族领域的倾向性，并提出了对 AI 伦理的重要启示，强调对高级 AI 系统中偏见的持续评估和缓解的必要性。

Jul, 2024

语言作为一种强大的工具，用于展示社会信仰体系，同时也延续了我们社会中普遍存在的偏见。性别偏见是我们社会中最普遍的偏见之一，在线和离线话语中都有所体现。随着语言模型越来越接近人类的流利程度，我们需要深入了解这些系统可能产生的偏见。先前的研究通常将性别偏见视为二元分类任务。然而，我们认识到偏见必须按照相对的尺度来感知，因此我们研究了各种程度偏见的生成和相关性质，并调查了手动注释者对这些偏见的接受程度。具体来说，我们创建了第一个带有性别偏见的 GPT 生成英文文本数据集，并使用最佳 - 最差比例进行了权威评级以获得相对评估的度量。接下来，我们系统分析了观察到的排名中性别偏见主题的变化，并显示了攻击身份是与性别偏见最相关的。最后，我们展示了现有模型在我们的数据集上训练的相关概念上的性能。

Oct, 2023

本文研究了预训练语言模型的生成文本中存在的人类偏见和其对不同人口群体的影响，针对现有的评估技术和基准的准确性问题，提出了新的评估框架以更稳健地测量和量化语言模型所表现出的偏见。并使用该框架调查了 GPT-3 的职业性别偏见，并提出了一些缓解这些偏见的提示技术。

Dec, 2022

本文通过创建一个基于职业的自然句子语料库来评估语言模型上的偏差，与以往只使用合成数据集的研究方法有所不同，证明使用基于自然句子的提示会比基于预设模板的提示更为准确和系统化地评估性别 - 职业偏差。

May, 2022

本研究提出了一种名为 AutoBiasTest 的新方法，可自动生成句子以测试预训练语言模型中的社会偏见，从而提供了一种灵活且低成本的替代方案，通过使用另一个 PLM 进行生成并在社交群体和属性术语的限制下控制句子的生成。我们展示了生成的句子在词长和多样性方面与人类生成的内容相似，通过自动化大规模测试句子的生成，我们可以更好地估计潜在的偏差分布。

Feb, 2023

本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

May, 2022

研究发现最近的语言模型在数字产品中越来越普及，但是人们担心这些模型采用的自然语言会有偏见，影响可用性。为了提高公正性，我们通过一种障碍问卷测量来识别 GPT-3 模型生成的文本是否具有偏见和公平性。

Jun, 2022