基于理论的测量 —— 英语语言模型中美国社会刻板印象

Jun, 2022

基于理论的测量 —— 英语语言模型中美国社会刻板印象

Theory-Grounded Measurement of U.S. Social Stereotypes in English Language Models

Yang Trista Cao, Anna Sotnikova, Hal Daumé III, Rachel Rudinger, Linda Zou

TL;DR本研究使用社会心理学的 Agency-Belief-Communion (ABC) 刻板印象模型来系统地研究和发现语言模型中的刻板印象，提出了敏感度测试（SeT）以测量语言模型中的刻板印象，并将该框架扩展到测量交叉身份的 LM 刻板印象。

Abstract

nlp models trained on text have been shown to reproduce human stereotypes, which can magnify harms to marginalized groups when systems are

nlp models stereotypes marginalized groups language models abc model

发现论文，激发创造

StereoSet：测量预训练语言模型中的陈词滥调偏见

该论文介绍了 StereoSet，一个用于评估英语中预训练语言模型中四种基于性别、职业、种族和宗教的陈规陋习偏见的大规模自然数据集，并评估了 BERT、GPT-2、RoBERTa 和 XLNet 等流行的语言模型在其中的表现，同时呈现了一个有隐藏测试集的排行榜来跟踪未来语言模型的偏见。

Apr, 2020

语言模型中对陈规的理解：朝着鲁棒度量和零 - shot 去偏见的方向

本文研究了预训练语言模型的生成文本中存在的人类偏见和其对不同人口群体的影响，针对现有的评估技术和基准的准确性问题，提出了新的评估框架以更稳健地测量和量化语言模型所表现出的偏见。并使用该框架调查了 GPT-3 的职业性别偏见，并提出了一些缓解这些偏见的提示技术。

Dec, 2022

多语言大型语言模型人类刻板印象泄漏跨语言边界

多语种大型语言模型中存在刻板印象的泄漏现象，表现为正面、负面和非极性关联在所有语言中都存在，尤其是对印地语敏感度最大，而中文敏感度最小；此外，ChatGPT 与人类评分更加匹配。

Dec, 2023

量化语言中的刻板印象

本文通过注释数据集来量化语言中的刻板印象，并使用预训练语言模型来预测句子的刻板印象。然后，探讨刻板印象与仇恨言论、性别歧视、情感以及弱势和优势群体等常见社会问题之间的联系和差异，并验证了当前研究的总体发现。此外，本研究表明，细粒度的刻板印象分数是社会问题研究中一个高度相关且具有竞争力的维度。

Jan, 2024

立体地图：量化大型语言模型中类人种族刻板印象的认知

大语言模型（LLMs）如何感知和表达社会群体，及其潜在偏见和有害联想的维度研究。

Oct, 2023

在交叉背景下评估语言模型的偏见态度关联

利用上下文词嵌入的概念投射方法，量化了英语语言模型中社会群体的情感倾向，发现语言模型对性别认同、社会阶级和性取向的信号表现出最有偏见的态度，此方法旨在研究语言模型中的历史偏见，并对设计正义做出贡献，探讨了在语言中被边缘化的群体的相关关系。

Jul, 2023

面向大型语言模型的审计：提升基于文本的刻板印象检测

本研究介绍了一个多维度刻板印象数据集以及英文文本的新型刻板印象分类器，并通过多类别训练模型在多种可解释 AI 工具下展示出较好的性能，利用该模型评估了流行的 GPT 模型系列的刻板印象行为，并观察到刻板印象的减少，从而为 LLM 的刻板印象偏见审计和评估建立了一个稳健而实用的框架。

Nov, 2023

FairBench: 大型语言模型中检测刻板印象和偏见的四阶段自动框架

本研究介绍了一种四阶段的框架来直接评估大型语言模型（LLMs）生成的内容中的刻板印象和偏见，包括直接问询测试、序列或改编故事测试、隐含联想测试和未知情境测试。此外，本文提出了多维度评估指标和可解释的零样本提示用于自动评估。使用教育领域作为案例研究，我们按照这个四阶段框架构建了 Edu-FairBench，其中包含了 12632 个开放性问题，涵盖了九个敏感因素和 26 个教育场景。实验结果显示在 Edu-FairBench 上评估的五个 LLMs 存在不同程度的刻板印象和偏见。此外，我们提出的自动评估方法的结果与人工注释有很高的相关性。

Aug, 2023

理解和应对刻板印象：基于计算方法的刻板印象内容模型研究

通过计算 SCM 模型方法的实施，本文针对文本中的刻板印象进行解释和应用，同时研究了通过反刻板印象来减少偏见思维的有效策略。

Jun, 2021

语言模型中的系统性攻击性刻板印象偏差（SOS）

我们研究了语言模型中的系统性冒犯性刻板印象偏见，并提出了一种测量方法。我们验证了语言模型中的冒犯性刻板印象偏见，并研究了文献中消除该偏见的去偏方法的有效性。结果表明，所有研究的语言模型都存在冒犯性刻板印象偏见，而去偏方法对冒犯性刻板印象偏见具有负面影响。此外，结果显示冒犯性刻板印象偏见对语言模型在公平性方面具有影响。

Aug, 2023