本文介绍了一种全新的包含13个不同人口统计学轴线近600个描述符的、基于HolisticBias的更加包容性的偏差测量数据集，结合一组偏差测量模板产生超过45万个独特的句子提示，用于探索、识别和减少几个生成模型中的新型偏差。

May, 2022

通过引入Beyond the Imitation Game基准测试（BIG-bench），我们评估了多种大小的语言模型在204个跨不同领域的任务上的表现，发现规模越大，其表现和校准也越好，但与人类专家相比还是很差，同时也发现在歧义上下文中情境偏见随规模增加而增加，但通过提示可以改善。

Jun, 2022

介绍了一种新的测试方法——图灵实验（TE），用于评估语言模型（如GPT-3）模拟人类行为的能力，设计实现了多项经济学、语言学和社会心理学实验的TE，比较了不同语言模型再现经典实验的表现，揭示了一些语言模型的“超级精度扭曲”问题。

Aug, 2022

利用上下文词嵌入的概念投射方法，量化了英语语言模型中社会群体的情感倾向，发现语言模型对性别认同、社会阶级和性取向的信号表现出最有偏见的态度，此方法旨在研究语言模型中的历史偏见，并对设计正义做出贡献，探讨了在语言中被边缘化的群体的相关关系。

Jul, 2023

通过对四个最近发表的大型语言模型进行测试，我们发现大型语言模型在性别刻板印象、职业偏见和句子结构等方面表现出偏见，它们更倾向于选择与性别刻板印象相关的职业，并且在提供自己选择的解释时常常存在事实错误，对于这些模型的偏见行为，我们需要谨慎测试以确保它们对待边缘化个体和社区是公平的。

Aug, 2023

使用大规模生成性语言模型（LLMs）可以模拟自由回答面试问题，这种方法可以代替传统的定性研究方法；研究中提出了算法忠实度的概念，通过框架化定性分析发现人工和模型生成的参与者得到的主题相似，但在访谈的结构和语气上存在显著差异；LLMs目前的算法忠实度不足以推广到人类群体，但未来可能会有改变；因此，有必要建立关于如何评估基于LLMs的定性研究的认知规范，特别是关于确保包含多样化生活经历的代表性。

Sep, 2023

调查发现现代语言模型存在基本的社会认同偏见，通过筛选训练数据可以减轻这些偏见。这些结果对于创建更少偏见的大型语言模型以及进一步研究用户与语言模型的互动以防止潜在的偏见加强具有实际意义。

Oct, 2023

通过比较研究和建立评估框架，在专业环境中研究语言模型的两种偏见：性别和种族。我们发现，尽管较新的模型相比较老模型来说性别偏见大大减少，但种族偏见仍然存在。

Nov, 2023

通过使用基于人口分布的人口组别信息，我们研究了语言模型在生成与人群相符合的调查回复方面的可行性，并揭示了语言模型中的社会偏见对这类模拟的影响。

Feb, 2024

在伦理和公平的领域中，现代大型语言模型(Large Language Models，LLMs)在破解很多最先进的基准测试中表现出色，该研究主要探讨LLMs在受保护群体偏见方面的行为，发现LLMs存在对性别、性取向和西方文化的偏见，并且模型不仅反映了社会偏见，而且似乎放大了这些偏见。尽管该模型对涉及受保护群体的问题过于谨慎，强调多样性和公平，但这种人工限制潜在有害输出的做法本身可能会造成伤害，应该谨慎和有控制地应用。

Mar, 2024