本文通过将语义学关系嵌入向量，展示词嵌入的时间动态如何被利用来量化美国20世纪至21世纪对女性和少数民族的刻板印象和态度变化，通过与美国人口普查融合，表明嵌入的变化与时间内的人口和职业转变密切相关，该框架的时间分析为机器学习和数量社会科学之间的新交叉打开了强大的可能性。

Nov, 2017

本文探讨了词向量方法的局限性，特别是它们在稳定性方面的表现，并通过实证研究探究了多种因素对词嵌入稳定性的贡献以及稳定性对下游任务的影响。

Apr, 2018

本文介绍了一种通过对抗性训练学习频率不可知词嵌入（FRAGE）的方法，可使得语义相似的高频和低频词语在同一词嵌入空间中，实验表明此方法在十种数据集上均优于基准。

Sep, 2018

使用我们的方法，可以了解到word embedding偏差的起源，并找出删除哪些文档可以最大程度地降低偏差。我们在《纽约时报》和Wikipedia语料库上演示了我们的技术，并发现我们的影响函数近似非常精确。

Oct, 2018

本研究评估了三种类型的词嵌入性别偏见度量的可信度，包括测试再测试可靠性、评分者一致性和内部一致性，并考察了不同随机种子、评分规则和单词选择等因素对可信度的影响，结果有助于更好地设计性别偏差度量，同时也建议研究者对这些度量的应用更加持批判态度。

Sep, 2021

通过提出一种基于因果推断框架的新方法来有效消除性别偏见，该方法可以在保留嵌入式语义信息的同时构建和分析性别信息流的复杂因果机制，从而在性别去偏任务中取得最新的技术结果。

Dec, 2021

使用余弦相似度可对于NLP的任务（如问答，信息检索，机器翻译）进行上下文嵌入建模,但是我们发现使用BERT解析的余弦相似度在估算词语相似度方面存在高低频词的差异,在控制多义性和其他因素后,高频词与同一词语的其他实例或其他上下文中的其他词语的相似度被低估,这种低估是由于高低频词的代表性几何形状差异导致.

May, 2022

研究发现，英语语料库中的统计规律将社会中已知的性别偏见编码为词嵌入中的群体偏见。使用单类别词嵌入关联测试，作者发现广泛存在性别偏差，这些偏差在词频、词性标记、语义类别和情绪情感方面均有所不同。男性更倾向于与技术、工程、宗教、体育和暴力等概念相关联，而女性则偏向于涉及外观和厨房等领域。同时，男性相关的词汇具有更强的情绪唤起和主导性，而女性相关的词汇则更加温馨。

Jun, 2022

本论文探讨了计算语义相似度的不同方法，比较了分类和分布式语义相似度的不同特点，提出了类别相似度建模的三种加权因素，发现在不同词频、多义性和相似度强度范围内存在语义相似度计算巨大差距。

Sep, 2022

本文研究了使用基于词嵌入的偏差度量方法在衡量女性和男性性别偏差时词频对结果的影响，并发现 Skip-gram with negative sampling 和 GloVe 往往会在高频词中检测到男性偏见，而 GloVe 往往会在低频词中检测到女性偏见，并进一步通过与基于点互信息的替代度量方法进行比较，证明了频率对度量结果的影响来自度量本身而非词汇相关性，这种影响是虚假和有问题的，因为偏见度量应该专门依赖于词共现而不是个体词频，尽管基于点互信息的度量略微偏向男性，但它并不表现出清晰的频率依赖关系。

Jan, 2023