这份研究首次展示，应用标准机器学习到日常语言时会形成类似于人类的语义偏见，同时该研究还提供了用于评估文本偏见的新方法。

Aug, 2016

本研究在Word Embedding Association Test的基础上，对句子编码进行了偏差测量，实验包括了包括ELMo和BERT在内的多种方法，并提议了未来的研究方向。

Mar, 2019

该研究对分布式词向量空间中的偏见效应进行了系统性分析，研究表明：偏见效应在不同的词向量模型、文本类型和语言之间是不一致的，同时，双语词向量空间中的跨语言偏见也是存在的。该研究以期促进自然语言处理中的偏见研究，为偏见缓解技术的发展提供帮助。

Apr, 2019

本文研究了公开可得的单词嵌入在某些社会层面上的偏见反映了实际调查数据，但并非所有维度的数据都能得到反映，只有最显著的偏见维度，例如性别方面，才能得到准确的反映。

Apr, 2020

研究表明单词嵌入存在性别偏见，过去常常以男女性词对来衡量性别偏见，但这种方式存在局限性，因为它们无法识别现实世界中的其他类型偏见，并且不能很好地指示偏见。

Oct, 2020

本文提出了一种新的内在评估任务VAST，可以用来评估基于上下文的词嵌入(CWEs)的效果，研究了上下文语境、分词、语言模型等因素对CWEs的影响，并且该评估方法也可以用于7种不同的语言；通过实现对GPT-2的测试，发现通过对其中一些神经元的操作可以过滤掉更多的非语义相关的信号，从而提升词语语义相关性的相关度；最后，通过对词相似性的任务以及词汇关联偏差测试的研究表明，VAST在LM语义理解方面有很好的效果。

Mar, 2022

研究发现，英语语料库中的统计规律将社会中已知的性别偏见编码为词嵌入中的群体偏见。使用单类别词嵌入关联测试，作者发现广泛存在性别偏差，这些偏差在词频、词性标记、语义类别和情绪情感方面均有所不同。男性更倾向于与技术、工程、宗教、体育和暴力等概念相关联，而女性则偏向于涉及外观和厨房等领域。同时，男性相关的词汇具有更强的情绪唤起和主导性，而女性相关的词汇则更加温馨。

Jun, 2022

本文研究了使用基于词嵌入的偏差度量方法在衡量女性和男性性别偏差时词频对结果的影响，并发现 Skip-gram with negative sampling 和 GloVe 往往会在高频词中检测到男性偏见，而 GloVe 往往会在低频词中检测到女性偏见，并进一步通过与基于点互信息的替代度量方法进行比较，证明了频率对度量结果的影响来自度量本身而非词汇相关性，这种影响是虚假和有问题的，因为偏见度量应该专门依赖于词共现而不是个体词频，尽管基于点互信息的度量略微偏向男性，但它并不表现出清晰的频率依赖关系。

Jan, 2023

利用上下文词嵌入的概念投射方法，量化了英语语言模型中社会群体的情感倾向，发现语言模型对性别认同、社会阶级和性取向的信号表现出最有偏见的态度，此方法旨在研究语言模型中的历史偏见，并对设计正义做出贡献，探讨了在语言中被边缘化的群体的相关关系。

Jul, 2023

本研究解决了静态词嵌入内在偏见指标与外在偏见指标之间缺乏相关性的问题。通过从外在偏见指标的数据集中提取特征词并分析与内在偏见指标的相关性，确保两个指标测量相同偏见，发现某些外在偏见指标与内在偏见指标之间存在中到高的相关性。这表明，内在偏见指标能够在特定场景下预测偏见行为。

Sep, 2024