本文提倡使用基于密度的分布嵌入方法，并提出了一种在高斯分布空间中学习表示的方法，以更好地捕捉有关表示和其关系的不确定性，自然地表达不对称性，并使决策边界参数更有表达力。本文比较了各种单词嵌入基准测试的性能，调查了这些嵌入模型主导和其他不对称关系的能力，并探索了表示的新颖特性。

Dec, 2014

本文介绍了一种基于可扩展的贝叶斯神经词嵌入算法，该算法依赖于 Skip-Gram 目标的变分贝叶斯解决方案，并提供了详细的步骤描述。我们在六个不同的数据集上展示实验结果，说明该算法在词类比和相似性任务上的表现与原始 Skip-Gram 方法相当。

Mar, 2016

该研究提出了一种基于概率的语言模型，可以跟踪个别单词随时间的语义演变，并通过嵌入空间中的潜在轨迹表示单词和上下文。研究发现，该动态模型推断的单词嵌入轨迹更易解释，并且具有更高的预测性可能性。

Feb, 2017

本文介绍了一种基于能量的最大化边际目标的多模态词分布方法，用于学习包含语义信息、包含多个词含义、蕴含和丰富的不确定性信息的词嵌入。实验结果表明，该方法在诸如单词相似度和蕴含等基准数据集上优于 Word2vec 跳字模型和高斯嵌入。

Apr, 2017

本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本，学习到分层的概率密度表示。实验结果表明，此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能，并保留了丰富而可解释的密度表示。

Apr, 2018

本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。

Apr, 2016

该研究通过概率隐变量序列模型，使用前向算法实现连续状态 Kalman 滤波器来学习单词的表示。通过 EM 算法准确地优化参数，使用所学习到的单词嵌入作为标记任务的特征，在标记任务中实现显著的准确度改进，并通过线性递归神经网络通过我们的模型的参数来初始化非线性递归神经网络语言模型，降低了其训练时间和困惑度。

Feb, 2015

该研究提出了一种新的基于高斯混合模型和标准化流的跨语言词嵌入方法，通过学习两种单语嵌入空间的概率密度，实现跨语言词嵌入。实验结果表明该方法在具有不同语言结构、复杂形态和遥远语系的词性能够实现有效的性能提升。

Apr, 2019

改进词表示学习，我们提出了一种概率先验，它可以无缝地与词嵌入模型集成。不同于先前的方法，词嵌入被看作是一种概率生成模型，它使我们能够对词表示学习施加先验进行正则化。所提出的先验不仅增强了嵌入向量的表示，还提高了模型的鲁棒性和稳定性。该先验的结构简单而有效，可以很容易地实现并灵活地插入到大多数现有的词嵌入模型中。广泛的实验证明了所提出的方法在各种任务上改善了词表示。

Sep, 2023

该研究提出了一种新的概率模型 —— 贝叶斯核嵌入模型，它可以用于解决核学习中的核选择问题，并给出了一个简单、方便的边缘似然函数用于确定核超参数。

Mar, 2016