本文针对大型预训练语言模型中的偏差问题进行调研，分析了偏差发生在模型的哪些阶段以及如何量化和减轻影响。尤其是针对情感相关的偏差问题进行了探讨，旨在提供未来研究的参考和挑战。

Apr, 2022

大型语言模型 (LLMs) 在性别方面反映了社会规范和偏见。本文填补情绪分析中对于社会偏见的研究空白，首次对五种最先进的开源和闭源 LLM 进行了性别化情绪归因的全面研究，发现这些模型始终存在受到性别刻板印象影响的性别化情绪。

Mar, 2024

人们对语言的认知取决于个人背景，如性别和种族。本研究利用包含不同人口背景注释的 POPQUORN 数据集，对四种常见的大型语言模型进行一系列实验，以调查它们理解群体差异和对礼貌和冒犯性的预测中的潜在偏见。结果发现，模型的预测更接近来自白人和女性参与者的标签。我们进一步探索了带有目标人口统计标签的提示，证明仅仅包含目标人口统计标签会削弱模型的性能。我们的结果表明，大型语言模型在主观性自然语言处理任务上存在性别和种族偏见，并且仅仅利用人口统计学提示可能无法消除这种影响。

Nov, 2023

通过比较研究和建立评估框架，在专业环境中研究语言模型的两种偏见：性别和种族。我们发现，尽管较新的模型相比较老模型来说性别偏见大大减少，但种族偏见仍然存在。

Nov, 2023

这篇研究使用变换器语言模型研究了其训练数据所带来的偏见问题，并提出了一种去偏方法，得到的去偏模型在下游任务上保持了良好的表现。

May, 2023

利用上下文词嵌入的概念投射方法，量化了英语语言模型中社会群体的情感倾向，发现语言模型对性别认同、社会阶级和性取向的信号表现出最有偏见的态度，此方法旨在研究语言模型中的历史偏见，并对设计正义做出贡献，探讨了在语言中被边缘化的群体的相关关系。

Jul, 2023

AI/NLP models trained on racially biased datasets demonstrate various types of bias, raising profound ethical implications regarding the impact of these models on user experience and decision-making due to the presence of racial bias features in datasets. The research implicates a negative influence on users' persuasiveness due to unexplainable discriminatory outcomes, calling for responsible AI frameworks within organizations.

Jan, 2022

本研究旨在测量大型语言模型中社会和经济偏见的媒体偏见，以及在预训练数据中表现出政治（社会，经济）偏见的先验模型对高风险社会导向任务的公平性的影响。结果发现先验模型确实存在政治倾向，这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中，本研究讨论了这些发现对 NLP 研究的影响，并提出了减轻不公平的未来方向。

May, 2023

通过大规模用户研究，评估了大型语言模型在写作支持中存在的偏倚，并发现这些偏倚并不会对学生的写作反馈产生显著影响。

Nov, 2023

本文探讨了基于 Transformer 的大规模语言模型中，情感表示的内部机制以及情感分析。研究利用模型对情感分布量化，提出了针对积极、消极、决定、钦佩、焦虑和烦躁等情感的预测器，并且提出了预测分布以生成表达极端情感的句子，这些研究对思考内部机制和心理障碍的影响具有启示性。

Jul, 2023