本文通过对现有单词嵌入方法的特点和分类任务的分析，将单词嵌入方法划分为传统方法和基于神经网络的方法，揭示基于神经网络的单词表示方法相比于传统方法更能捕捉语言的语义和句法规律。实验验证了不同方法的性能差异。

Mar, 2023

本文介绍了基于 37,604 篇开放获取的社会科学研究论文构建和评估词向量模型。在评估中，我们比较了特定领域和通用语言模型在语言覆盖、多样性和语义关系方面的差异。我们发现，即使词汇表的大小相对较小，所创建的特定领域模型覆盖了社会科学概念的大部分，与更通用的模型相比，邻域更加多样化。在所有关系类型中，我们发现更广泛的语义关系覆盖范围。

Feb, 2023

通过维度分析，我们提出了一种双步训练方法，优化编码器和池化器以减轻低维场景中的整体性能损失，从而显著提高低维句子嵌入的性能。

Oct, 2023

本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

Oct, 2020

本文研究了使用大规模语言模型所获得的单词嵌入中是否编码了某些情感信息。研究发现，只有在情感相关任务上微调 BERT 模型，或在情感丰富的上下文中包含额外的上下文信息时，相应的词嵌入才能编码更相关的情感信息。

Sep, 2022

我们提出了一种基于标准神经网络架构的简单，高效的令牌嵌入模型，并通过大量未注释的文本学习了令牌嵌入，评估它们作为基于少量注释的数据训练的词性标注器和依存分析器的特征，发现词嵌入在各种上下文窗口和训练集大小下都能一致优于基准预测模型。

Jun, 2017

通过使用上下文化单词嵌入，我们可以捕捉人物形象中的情感维度，并比较男女形象的差异。虽然这些单词嵌入编码了有意义的情感信息，但受其训练数据的影响严重限制了它们的实用性。

Jun, 2019

本文探讨使用基于计数和基于预测结构构建的多种类型词向量嵌入在两个特定任务中的表现，即关系评估和方言识别，同时展示了这些嵌入的实用性以及在下游任务中的有效性。

Jul, 2016

本文探讨了使用不同的资源如临床笔记、生物医学出版物、维基百科和新闻训练的词嵌入，经过定性和定量评估后发现，基于临床笔记和生物医学出版物训练的词嵌入能更好地捕捉医学术语的语义，更接近于专家的判断，但是，无法为所有下游生物医学 NLP 任务提供一致的全局排名，只能将它们作为额外特征来提高大多数下游任务的结果。

Feb, 2018

本文探索了单词嵌入捕捉语义和形态相似性的能力，通过各种类型的语言属性（表面形式，词形，形态标签）将每个单词的表示组合起来影响该过程。我们训练了几个模型，每个模型使用不同的属性子集来组合它的表示。通过对语义和形态度量进行评估，我们揭示了语义和形态之间关系的一些有用洞见。

Apr, 2017