本文提出了一个统一动态嵌入模型，它能学习属性特定的单词嵌入，在历史语料库中调查了性别、种族和难民等方面的偏见。结果发现，动态嵌入模型与独立向量空间模型相比，在表示语言偏见方面更具优越性或更劣。

Apr, 2019

本文通过将语义学关系嵌入向量，展示词嵌入的时间动态如何被利用来量化美国 20 世纪至 21 世纪对女性和少数民族的刻板印象和态度变化，通过与美国人口普查融合，表明嵌入的变化与时间内的人口和职业转变密切相关，该框架的时间分析为机器学习和数量社会科学之间的新交叉打开了强大的可能性。

Nov, 2017

本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

Aug, 2015

研究发现，英语语料库中的统计规律将社会中已知的性别偏见编码为词嵌入中的群体偏见。使用单类别词嵌入关联测试，作者发现广泛存在性别偏差，这些偏差在词频、词性标记、语义类别和情绪情感方面均有所不同。男性更倾向于与技术、工程、宗教、体育和暴力等概念相关联，而女性则偏向于涉及外观和厨房等领域。同时，男性相关的词汇具有更强的情绪唤起和主导性，而女性相关的词汇则更加温馨。

Jun, 2022

本文介绍一种基于词嵌入组合方法，该方法旨在通过满足新向量与其组成部分的向量表示之间的距离一致且最小化来实现给定一组词的公平嵌入表示。该嵌入组合方法可适用于静态和上下文相关的词表示，适用于创建句子的表示，并学习不一定按序组织的词组的表示。我们理论上表征了这种表示存在的条件并推导了解决方案。我们在数据增强和句子分类任务中评估了该方法，研究了嵌入和组合方法的多种设计选择。我们展示了我们的方法在解决用于捕捉句子简单语言特征的探测任务方面的卓越效果。

Jun, 2024

在研究中，我们发现标准词嵌入即使经过去偏差处理，其性别偏差仍然很高，而上下文词嵌入则能够减少这种性别偏差，从而为自然语言处理应用提供更公正的结果。

Apr, 2019

通过合成语料库评估英文命名实体识别系统在不同人口群体中的偏差，结果表明模型更擅长识别两个数据集中特定人口群体的姓名，并且去偏向嵌入无法解决这个问题，最终结果表明基于字符的上下文词表示模型，例如 ELMo，跨人口群体的偏差最小。这项工作可以揭示由于在自动化知识库生成中系统性排除某些人口实体而导致的潜在偏见。

Aug, 2020

本文介绍了基于 37,604 篇开放获取的社会科学研究论文构建和评估词向量模型。在评估中，我们比较了特定领域和通用语言模型在语言覆盖、多样性和语义关系方面的差异。我们发现，即使词汇表的大小相对较小，所创建的特定领域模型覆盖了社会科学概念的大部分，与更通用的模型相比，邻域更加多样化。在所有关系类型中，我们发现更广泛的语义关系覆盖范围。

Feb, 2023

本研究提出基于预训练语言模型的动态情境词向量，能够以语言和非语言环境为依据来表征单词的含义变化，并在四个英文数据集上做出定性和定量分析，以彰显其应用潜力。

Oct, 2020

本文介绍了一种新方法，神经网络词嵌入模型，以用于大规模文本分析，揭示了这些模型如何比以前的方法更能产生丰富的文化联想和类别，推进了一个与当代身份和文化理论一致的意义关系模型，以高维空间中的向量几何关系表示单词之间的语义关系。作者展示了词嵌入模型在宏观文化调查中的应用，并给出了对 20 世纪美国性别和阶级联系的纵向分析以及对美英性别和阶级标记历史区别的比较分析。作者认为，这些高维模型的成功促使朝着 “高维度理论化” 的意义、身份和文化过程的方向发展。

Mar, 2018