使用 LLM 生成多种语言模型的方法，结合文化验证，建立全球规模的多语言社会刻板印象数据集，包含超过 20 种语言中的 25,000 个刻板印象，并且通过人工注释来显示其在模型评估中的差距。

Mar, 2024

大规模语言模型在人工智能应用领域有显著的进展，但存在刻板输出的问题。本研究介绍了多维度刻板模式数据集，探索了基于不同机器学习方法的刻板模式检测基线，通过调整语言模型架构和大小，构建了英文文本的一系列刻板模式分类器模型，并使用可解释性人工智能工具进行验证和分析。在生成文本任务中，使用优秀的刻板模式检测器评估了流行大规模语言模型的刻板模式存在程度，并得出了多个关键发现。

Apr, 2024

本研究介绍了一个多维度刻板印象数据集以及英文文本的新型刻板印象分类器，并通过多类别训练模型在多种可解释 AI 工具下展示出较好的性能，利用该模型评估了流行的 GPT 模型系列的刻板印象行为，并观察到刻板印象的减少，从而为 LLM 的刻板印象偏见审计和评估建立了一个稳健而实用的框架。

Nov, 2023

多语种大型语言模型中存在刻板印象的泄漏现象，表现为正面、负面和非极性关联在所有语言中都存在，尤其是对印地语敏感度最大，而中文敏感度最小；此外，ChatGPT 与人类评分更加匹配。

Dec, 2023

介绍了一个多语言扩展的 HOLISTICBIAS 数据集，提供了一个综合的人称参考英语模板分类法，旨在发现人口统计不平衡并量化缓解措施。初步研究表明，在评估平均人类阅读者时，EN-to-XX 翻译的质量比女性更好，而对于主题相同但性别不同的情况，则男性翻译平均比女性更好。在将句子嵌入到联合多语言句子表示空间时，我们发现对于大多数语言，男性翻译与英语中性句子更接近。

May, 2023

在 1295 种语言的大规模多语言数据集中训练神经网络模型，以研究神经模型对于语言结构所能学习到的广义化程度，发现神经网络模型在语言结构的广义化方面的表现并不好，并会存在误报，但有些表现仍然与语言学中的传统特征非常接近，为了鼓励在这个领域的持续研究，我们发布了多个资源，包括语言表示的多重集合、多语言单词嵌入、映射和预测的语法和形态特征以及提供语言表征的具有语言学意义的评估软件。

Jan, 2023

针对社交媒体平台上不断增加的仇恨言论传播案例，本文提出了一种基于知识的泛化学习方法，旨在从无结构的文本数据中去除偏差和刻板化的词语，以实现偏差性言论的检测和控制。实验结果表明，与基于传统偏差去除方法的分类器相比，使用本文所提出的方法获得了更好的性能和偏差缓解效果。

Jan, 2020

本研究提出了一种评估方法，针对用于巴西葡萄牙文的语言模型，通过固定的语言格式，考察语言信息的编码方式，评估不同的语言模型在处理语法结构和多词表达方面的泛化能力，解决了语言模型黑盒且缺乏可解释性的问题。

May, 2023

本研究旨在解决现有数据集只包含西方社会陈规模式以及规模和覆盖范围有限的问题，提出了一种使用大型语言模型 (PaLM 和 GPT-3) 和全球多元化评估来构建广泛覆盖的关于 178 个国家、8 个地缘政治地区以及 6 个大洲各个群体陈规的数据集 SeeGULL，并展示了该数据集的应用，包括陈规分析以及全球差异。

May, 2023

AI 系统越来越智能化，为了避免滥用人类反馈而学习追求遵循指示，研究通过控制 LLMs 对不可靠情况中的人类反馈进行泛化来减轻风险；采用 69 种不同领域的分布变化，发现奖励模型默认不会学习评估 “遵循指令”，而更偏好与互联网文本相似的人设；与标准微调相比，通过解读奖励模型的内部表示来实现更好的泛化效果，但仍然经常无法区分 “遵循指令” 和混淆行为；整合了 15 个最具挑战性的分布变化形成 GENIES 基准，旨在推动对奖励模型泛化能力的控制的进展。

Nov, 2023