基于主题模型的多义词嵌入

ACLSep, 2019

Multi Sense Embeddings from Topic Models

Shobhit Jain, Sravan Babu Bodapati, Ramesh Nallapati, Anima Anandkumar

TL;DR该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示，并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

Abstract

distributed word embeddings have yielded state-of-the-art performance in many NLP tasks, mainly due to their success in capturing useful semantic information. These representations assign only a single vector to each word whereas a large number of words are polysemous (i.e., have multi

distributed word embeddings polysemous words topic modeling multi-prototype embeddings word similarity

发现论文，激发创造

向量空间中多个嵌入每个单词的高效非参数估计

提出一种扩展 Skip-gram 模型的方法，它可以高效地学习每个单词类型的多个嵌入，通过联合进行词义辨别和嵌入学习，非参数地估计每个单词类型的很多不同的词义，并通过在一个拥有近 10 亿标记的语料库上训练一台机器的演示，展示了它的可扩展性。

Apr, 2015

针对深度组合模型的语法感知多义词嵌入

本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

Aug, 2015

生成词义表示的简单高效方法

本文介绍了一种简单的模型，它可以代表多义词的不同含义，有效地区分单词的语义，并保证计算效率。

Dec, 2014

从词到义项嵌入：对意义向量表示的调查

此研究综述了分布式语义表示的理论背景，介绍了从单词级别向更精细的词义级别转化的方法，并提供了对两种主要分支进行的广泛技术概述；最终，对其重要方面进行了分析与评估。

May, 2018

使用多义词向量嵌入进行反向词典

本论文研究多义词汇的表示，提出使用注意力机制将其集成到神经网络架构中，在逆向字典任务中获得更好的性能。实验结果表明，多义词汇在输入序列和目标表示方面的应用可以获得大幅度的提高。还提供了对意义分布和学习注意力的分析。

Apr, 2019

无监督映射实现跨主题分布语义表示

本文提出了一种基于不同主题学习单词的多个分布式表示的分布式语义模型，该模型通过不同主题训练不同的 DSM，然后将每个基于主题的 DSM 对齐到一个公共向量空间，实现了最先进的上下文词语相似性任务，并且在 NLP 下游任务中表现出比单一原型模型更好的性能。

Apr, 2019

多义性的几何学

本文提出了一种三倍增的方法来进行无监督的多义词建模，其中使用低秩子空间来表示包含目标单词的句子，通过对表示的格拉斯曼几何进行聚类算法对目标单词的不同义项进行消歧辨别，最后基于英文维基百科语料库得出了多个词和词义对的表示，这些算法在标准意义识别和消歧辨别数据集上带来了新的最佳成果。

Oct, 2016

学习多义词嵌入的混合模型

使用混合模型来学习多感知词嵌入，取得了比以前更好的效果。

Jun, 2017

多义词的分布式表示：一种基于损失驱动的方法

本研究提出了一种名为 LDMI 的新模型，以用来估算单词的分布式表示，特别是针对多义词。实验表明，LDMI 相比其他方法在上下文单词相似性任务上具有更好的性能表现。

Apr, 2019

多源神经主题建模在多视图嵌入空间中

本文提出了一种使用多视图嵌入空间的神经主题建模框架，通过联合多种来源的预训练主题嵌入和预训练词嵌入来提高主题质量并更好地处理一词多义。文章通过从新闻和医疗领域的不同文本集合中进行实验，评估了主题和文档表示的质量。

Apr, 2021