高斯嵌入的词表示

ICLRDec, 2014

Word Representations via Gaussian Embedding

Luke Vilnis, Andrew McCallum

TL;DR本文提倡使用基于密度的分布嵌入方法，并提出了一种在高斯分布空间中学习表示的方法，以更好地捕捉有关表示和其关系的不确定性，自然地表达不对称性，并使决策边界参数更有表达力。本文比较了各种单词嵌入基准测试的性能，调查了这些嵌入模型主导和其他不对称关系的能力，并探索了表示的新颖特性。

Abstract

Current work in lexical distributed representations maps each word to a point vector in low-dimensional space. Mapping instead to a density provides many interesting advantages, including better capturing uncertainty about a representation and its relationships, expressing asymmetries

lexical distributed representations density-based distributed embeddings gaussian distributions word embedding benchmarks asymmetric relationships

发现论文，激发创造

使用 Wasserstein 距离的高斯词嵌入

该研究提出了一种使用 Wasserstein 距离作为损失函数的高效高斯词嵌入模型，并利用 ConceptNet 进行半监督学习，以获得更丰富的语义信息和更好的性能。

Aug, 2018

层次密度排序嵌入

本论文提出了一种基于概率密度的单词嵌入模型 —— 密度顺序嵌入模型。该模型通过实现简单而有效的损失函数和距离度量以及基于图的方案选择负样本，学习到分层的概率密度表示。实验结果表明，此方法在 WordNet 层级关系预测任务和 HyperLex 语义蕴涵数据集上表现出了最先进的性能，并保留了丰富而可解释的密度表示。

Apr, 2018

多模式词分布

本文介绍了一种基于能量的最大化边际目标的多模态词分布方法，用于学习包含语义信息、包含多个词含义、蕴含和丰富的不确定性信息的词嵌入。实验结果表明，该方法在诸如单词相似度和蕴含等基准数据集上优于 Word2vec 跳字模型和高斯嵌入。

Apr, 2017

用贝叶斯 Skip-gram 模型将单词嵌入为分布

该研究介绍了一种将单词作为概率密度嵌入低维空间的方法，该 Bayesian 模型通过生成来自每个给定单词的单词特定先验密度，从而可以获得上下文特定的密度以及用于词汇替换任务的有效估算方法。

Nov, 2017

使用词嵌入的非参数球形主题建模

本文提出使用 von Mises-Fisher 分布来建模单元球上的单词密度，以构建主题模型，并基于随机变分推理提出了一种高效的推断算法，实现了自然利用词嵌入的语义结构，同时能够灵活地发现主题数量。该方法在两个不同的文本语料库中拥有更好的主题连贯性并提供有效推理。

Apr, 2016

高斯嵌入表示的句子表征

本文提出了一种基于高斯分布的对比学习框架 GaussCSE 用于句子嵌入，它可以处理句子间不对称的关系，同时还有一种相似度度量可以识别包含关系。实验证明 GaussCSE 在自然语言推断任务中与之前的方法一样表现出色，并能够估算蕴含关系的方向。

May, 2023

探索词语和关系的理论表示

该研究提出了一种理论方法，将词嵌入和知识图谱中的实体及其关系的几何形状联系起来，以便更好地理解它们的语义结构和性能。

Feb, 2022

词向量：一份调查报告

本研究总结了最近的构建定长、密集、分布式单词表示的主要策略，并阐述了这些表示通常被称为单词嵌入，并除了编码出色的句法和语义信息之外，还被证明在许多下游自然语言处理任务中有用的额外特征。

Jan, 2019

分布式模型与深度学习嵌入：将两者最优结合

本文研究了单词在分布式表示中的两种主要方法：低维度深度学习嵌入和高维度分布模型，并将这两种方法相结合，通过学习基于分布式模型向量的嵌入来提高单词相关性判断的性能。

Dec, 2013

双语词嵌入密度匹配

该研究提出了一种新的基于高斯混合模型和标准化流的跨语言词嵌入方法，通过学习两种单语嵌入空间的概率密度，实现跨语言词嵌入。实验结果表明该方法在具有不同语言结构、复杂形态和遥远语系的词性能够实现有效的性能提升。

Apr, 2019