Nov, 2015

sense2vec - 一种快速准确的神经词嵌入词义消歧方法

PDF
TL;DR本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。
neural word representationsword sensessupervised disambiguationnlpdependency parsing
发现论文，激发创造
  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • 语言建模具有意义：通过 WordNet 传播表征进行全覆盖词义消歧

    利用语境嵌入表示的词义表征，基于 WordNet 全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

    Jun, 2019

  • 通过联合知识增强训练将词语和意义嵌入在一起

    提出一种新模型共同学习单词和语义嵌入，以解决现有方法无法区分单词不同含义的问题，利用大规模预料库和语义网络优化嵌入空间，并在各种任务中评估了该方法的优点。

    Dec, 2016

  • 生成词义表示的简单高效方法

    本文介绍了一种简单的模型，它可以代表多义词的不同含义，有效地区分单词的语义，并保证计算效率。

    Dec, 2014

  • 使用多义词向量嵌入进行反向词典

    本论文研究多义词汇的表示，提出使用注意力机制将其集成到神经网络架构中，在逆向字典任务中获得更好的性能。实验结果表明，多义词汇在输入序列和目标表示方面的应用可以获得大幅度的提高。还提供了对意义分布和学习注意力的分析。

    Apr, 2019

  • xSense: 学习分离词义的稀疏表示和文本定义，实现可解释的词义网络

    本文研究了词向量的解释问题，提出了一种算法可通过上下文信息和目标词语推断其意义，进而利用循环神经网络生成该词汇的定义，实现对词向量的直接解释。同时，作者提出了一个高质量的词汇上下文 - 定义数据集，用于词义消歧与定义建模。经实验测试，该方法在 BLEU 评分和人工评估测试中表现出卓越的性能。

    Sep, 2018

  • 通过词义消歧过程实现多义词嵌入

    提出了一种名为 Most Suitable Sense Annotation (MSSA) 的新方法，它通过一种无监督技术来标注每个单词的特定含义，并考虑其上下文的语义效应，从而减轻了自然语言理解中多义性和同音异义词的问题，实现了语义表示方面的三个主要贡献，使用六个不同的基准模型进行 word similarity 测试，结果表明该方法能够产生最先进的结果，胜过了几个更复杂的先进系统。

    Jan, 2021

  • 探究语义类别：诊断单词嵌入的含义内容

    本篇研究通过使用大规模手动 Wikipedia 注释和词义，建立了一个新的数据集，其中将来自不同单词的词意通过语义类别相互关联。在此基础上，提出了一种新型的嵌入内容诊断测试方法，并通过将嵌入分类为语义类别进行嵌入空间分析。主要结论是：(i) 单向量嵌入通常很好地表现出词义的信息，但多义词的罕见含义对单向量嵌入的负面影响很小，对依赖于常见含义的自然语言处理应用的性能没有影响。

    Jun, 2019

  • 理解词嵌入

    我们开发了一种简单而有效的方法来学习单词意义嵌入。通过聚类相关单词的自我网络，我们的方法可以从现有的单词嵌入中引出一种意义库，并通过学习的意义向量标记上下文中的单词，从而产生了下游应用。实验表明，我们的方法的性能与最先进的无监督 WSD 系统相当。

    Aug, 2017

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023