本文研究表明，对于用于学习感知嵌入的训练语料库中使用频率相关的信息和感知嵌入的 L2 范数是一种有效的特征，可用于提高单词感知相关任务的性能，例如最高频率感知预测，上下文中的单词（WiC）以及单词感知消歧（WSD）。

Oct, 2022

通过引入噪音亚百特信息编码的向量空间，使用探测框架扩展方法，研究了 GloVe 和 BERT 嵌入中向量范数如何编码不同种类的信息，发现 GloVe 在向量范数中存储了句法和句子长度信息，而 BERT 则将其用于编码上下文不连贯信息。

Oct, 2022

本文提出了一种学习分布式表示的有效方法，该方法通过最小化类似于 Word2Vec 算法中引入并在后来的工作中采用的目标函数来实现，其优化计算瓶颈是需要进行一定数量的操作来缩放到与样本大小成二次正比的 softmax 标准化常数。然而，本文的贡献在于展示 softmax 标准化常数可以在线性时间内估计，从而允许我们设计一种有效的优化策略来学习分布式表示，同时取得与负采样相比竞争性的准确性表现，但计算时间相对较短。

Mar, 2023

本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本，学习到分层的概率密度表示。实验结果表明，此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能，并保留了丰富而可解释的密度表示。

Apr, 2018

本文提倡使用基于密度的分布嵌入方法，并提出了一种在高斯分布空间中学习表示的方法，以更好地捕捉有关表示和其关系的不确定性，自然地表达不对称性，并使决策边界参数更有表达力。本文比较了各种单词嵌入基准测试的性能，调查了这些嵌入模型主导和其他不对称关系的能力，并探索了表示的新颖特性。

Dec, 2014

该研究提出了一种使用 Wasserstein 距离作为损失函数的高效高斯词嵌入模型，并利用 ConceptNet 进行半监督学习，以获得更丰富的语义信息和更好的性能。

Aug, 2018

本文针对词嵌入模型在信息检索任务中存在的问题及其局限性，提出了一种基于 word2vec Skip-Gram 模型的神经网络模型，通过显式向量表示的方式，增加了模型的可解释性和准确性，实现了查询词汇的局部信息融合，提高了指定任务状态下的表现表现。

Jul, 2017

本文介绍了连续 Skip-gram 模型的扩展方法，包括减少常见词的子采样、负采样优化、短语学习等，以提高单词向量的质量和训练速度，为解决单词顺序和习惯用语表示上的问题提供了简单的解决方法。

Oct, 2013

该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

Feb, 2022

本文介绍了一种基于能量的最大化边际目标的多模态词分布方法，用于学习包含语义信息、包含多个词含义、蕴含和丰富的不确定性信息的词嵌入。实验结果表明，该方法在诸如单词相似度和蕴含等基准数据集上优于 Word2vec 跳字模型和高斯嵌入。

Apr, 2017