本文探讨了词向量方法的局限性，特别是它们在稳定性方面的表现，并通过实证研究探究了多种因素对词嵌入稳定性的贡献以及稳定性对下游任务的影响。

Apr, 2018

本文研究使用不同区域英语的嵌入空间的变化，并控制嵌入的不稳定性。实验得出结论：培训数据中的方言会对生成的嵌入空间产生显著的影响，并且这种方言差异在词汇的特定部分尤其容易出现变化。这表明方言之间存在语义上的差异，除了之前研究所述的词汇和句法差异。

Mar, 2023

对现代自然语言处理管道的核心构建块 —— 预训练词嵌入的稳定性进行深入研究，通过提出新的嵌入不稳定性度量来解释模型训练的不稳定性，并提出提高嵌入存储大小以达到降低不稳定性的稳定性 - 内存权衡。

Feb, 2020

本文提出了一种不使用向量空间对齐，而是考虑每个单词的邻居的新方法，有效地解决了数字人文学和计算社会科学中的文本比较问题。

Dec, 2021

本文对词嵌入进行了主成分分析，并提出了许多新颖且反直观的观察。研究人员进一步说明了方差解释率作为下游任务性能的代理效用，并通过对主嵌入空间的句法探测来展示主成分所捕捉的句法信息与其解释方差的数量不相关，从而调查了基于方差的嵌入后处理的局限性，并证明这种后处理在句子分类和机器翻译任务中是产生反效果的。最后，本文提供了一些关于应用基于方差的嵌入后处理的预防性准则，并解释了非各向同性几何可能是词嵌入性能的一部分的原因。

Oct, 2019

本文通过大量的评估，分析了多种跨语言嵌入模型的优劣，特别是在目标语言，训练语料库和监督程度等不同方面的限制，从而对 “高质量跨语言嵌入模型可以在不需要太多监督的情况下学习到” 的观点提出了质疑。

Aug, 2019

通过有监督学习，利用词嵌入作为解释变量，我们研究了具体性和形象性这两个概念的可预测性。我们利用与单一向量空间对齐的跨语言嵌入的集合在语言内和语言间进行预测。我们发现，具体性和形象性这两个概念在语言内和语言间都具有高度可预测性，跨语言预测的相关性损失最多达到 20％。我们进一步展示了通过词嵌入的跨语言传输比简单通过双语词典进行传输更加有效。

Jul, 2018

本文提出了一种评估单词表示学习方法的方法，即通过评估不同初始值下学习得到的单词表示的一致性。通过提出的度量标准，评估结果不仅揭示了单词嵌入方法的内在特性，还与下游任务的其他评估指标具有良好的相关性，这对于开发新的单词嵌入方法具有重要的鲁棒性特征的考虑是有用的。

May, 2016

本文综述了跨语言词向量模型的具体类型，比较它们的数据需求和目标函数，并讨论了如何对跨语言词向量模型进行评估和未来研究的挑战。

Jun, 2017

本文介绍了一种新方法，神经网络词嵌入模型，以用于大规模文本分析，揭示了这些模型如何比以前的方法更能产生丰富的文化联想和类别，推进了一个与当代身份和文化理论一致的意义关系模型，以高维空间中的向量几何关系表示单词之间的语义关系。作者展示了词嵌入模型在宏观文化调查中的应用，并给出了对 20 世纪美国性别和阶级联系的纵向分析以及对美英性别和阶级标记历史区别的比较分析。作者认为，这些高维模型的成功促使朝着 “高维度理论化” 的意义、身份和文化过程的方向发展。

Mar, 2018