Apr, 2015

向量空间中多个嵌入每个单词的高效非参数估计

PDF
TL;DR提出一种扩展 Skip-gram 模型的方法，它可以高效地学习每个单词类型的多个嵌入，通过联合进行词义辨别和嵌入学习，非参数地估计每个单词类型的很多不同的词义，并通过在一个拥有近 10 亿标记的语料库上训练一台机器的演示，展示了它的可扩展性。
vector-spaceword embeddingspolysemyskip-gram modelword sense discrimination
发现论文，激发创造
  • 基于主题模型的多义词嵌入

    该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示， 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

    Sep, 2019

  • sense2vec - 一种快速准确的神经词嵌入词义消歧方法

    本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。

    Nov, 2015

  • 向量空间中单词表示的高效估计

    提出了两种新的单词向量表示模型，通过神经网络计算大型数据集中单词的连续向量表示，相较于其他神经网络技术在词语相似度任务上提高了准确性且计算效率更高，此外还展示了这些向量在测量语法和语义相似度的测试集上有最先进的性能表现。

    Jan, 2013

  • 基于多分辨率上下文嵌入网络的无监督词汇多义数量化

    本文提出了一种基于上下文嵌入空间中的简单几何形式的新颖方法来评估多义性，该方法是完全无监督和纯数据驱动的，能够较好地反映来自 WordNet、OntoNotes、Oxford 和维基百科等 6 种不同标准度量方法的排名，并能对人工排名之间的相关性进行可视化和分析。同时，该方法的一个有价值的附带产品是在不增加成本的情况下进行不同词义的样本句子抽取。最后，完全无监督的本方法使其适用于任何语言。

    Mar, 2020

  • 上下文词嵌入的逐步语义权重训练

    本研究提出一种新颖的在线算法，通过最小化上下文嵌入组内的距离来学习单词嵌入中每个维度的本质，以三种最先进的基于神经网络的语言模型 Flair、ELMo 和 BERT 生成上下文嵌入，为同一词汇类型生成不同的嵌入，这些嵌入由 SemCor 数据集手动标注的意义进行分组，结论表明本文提出的算法不会损伤性能，甚至能提高 3%，可以用于未来关于上下文嵌入可解释性的研究。

    Nov, 2019

  • 一种集成方法生成高质量的词向量嵌入（2016）

    本文提出了一种集成方法，通过将 GloVe 和 word2vec 的嵌入方式与语义网络 ConceptNet 和 PPDB 的结构化知识相结合，将它们的信息融合成一个具有大型多语言词汇的共同表示，并达到了许多词语相似性评估的最先进性能

    Apr, 2016

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023

  • 使用多义词向量嵌入进行反向词典

    本论文研究多义词汇的表示，提出使用注意力机制将其集成到神经网络架构中，在逆向字典任务中获得更好的性能。实验结果表明，多义词汇在输入序列和目标表示方面的应用可以获得大幅度的提高。还提供了对意义分布和学习注意力的分析。

    Apr, 2019

  • 针对深度组合模型的语法感知多义词嵌入

    本研究详细介绍了一个基于丰富的单词嵌入的组成分布式框架，旨在促进句子中单词之间的交互，并使用环境中的句法信息来增强向量。研究结果表明，该框架在 MSRPar 任务上取得了具有代表性的结果。

    Aug, 2015

  • 生成词义表示的简单高效方法

    本文介绍了一种简单的模型，它可以代表多义词的不同含义，有效地区分单词的语义，并保证计算效率。

    Dec, 2014