Jun, 2015

多义词嵌入是否提高自然语言理解？

PDF
TL;DR本文介绍一种基于中餐馆过程的多义词嵌入模型，测试表明它在人类词语相似度判断方面取得了最先进的性能，并提出了一种管道式架构，用于将多义词嵌入结合到语言理解中，结果表明在某些任务（如词性标注、语义关系识别、语义相关性）中，多义词嵌入确实能够提高性能，但在其他任务（如命名实体识别、各种形式的情感分析）中却没有提高。
multi-sense embeddingsnatural language understandingpart-of-speech taggingsemantic relation identificationembedding dimensionality
发现论文，激发创造
  • 学习多义词嵌入的混合模型

    使用混合模型来学习多感知词嵌入，取得了比以前更好的效果。

    Jun, 2017

  • 跨语境多义词上下文词嵌入映射

    本文提出两种改进的解决方案，通过将上下文多义词嵌入视为噪声（去除）和通过生成聚类级别的平均锚嵌入以替换上下文多义词嵌入，提高了跨语言语境下上下文词嵌入对齐的微观性能，同时不会损害双语词汇表归纳任务的宏观性能；对于无监督对齐，我们的方法在双语词汇表归纳任务中显著提高了 10 多分。

    Sep, 2019

  • 使用多义词向量嵌入进行反向词典

    本论文研究多义词汇的表示，提出使用注意力机制将其集成到神经网络架构中，在逆向字典任务中获得更好的性能。实验结果表明，多义词汇在输入序列和目标表示方面的应用可以获得大幅度的提高。还提供了对意义分布和学习注意力的分析。

    Apr, 2019

  • 通过词义消歧过程实现多义词嵌入

    提出了一种名为 Most Suitable Sense Annotation (MSSA) 的新方法，它通过一种无监督技术来标注每个单词的特定含义，并考虑其上下文的语义效应，从而减轻了自然语言理解中多义性和同音异义词的问题，实现了语义表示方面的三个主要贡献，使用六个不同的基准模型进行 word similarity 测试，结果表明该方法能够产生最先进的结果，胜过了几个更复杂的先进系统。

    Jan, 2021

  • 基于主题模型的多义词嵌入

    该文提出了一种基于主题模型的 skip-gram 方法来学习多原型词嵌入，同时介绍了一种修剪嵌入的方法，用于代表每个主题中每个单词的概率表示， 并将我们的嵌入用于展示它们可以强烈地捕获上下文和词汇相似性，并优于各种最先进的实现。

    Sep, 2019

  • sense2vec - 一种快速准确的神经词嵌入词义消歧方法

    本篇论文提出了一种新的方法，基于监督式消歧，为每个单词建立多个嵌入向量，从而针对字面意思和文本语境对不同主题进行消歧，以及在神经依赖分析上具有更好的错误率表现。

    Nov, 2015

  • 通过联合知识增强训练将词语和意义嵌入在一起

    提出一种新模型共同学习单词和语义嵌入，以解决现有方法无法区分单词不同含义的问题，利用大规模预料库和语义网络优化嵌入空间，并在各种任务中评估了该方法的优点。

    Dec, 2016

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 探究语义类别：诊断单词嵌入的含义内容

    本篇研究通过使用大规模手动 Wikipedia 注释和词义，建立了一个新的数据集，其中将来自不同单词的词意通过语义类别相互关联。在此基础上，提出了一种新型的嵌入内容诊断测试方法，并通过将嵌入分类为语义类别进行嵌入空间分析。主要结论是：(i) 单向量嵌入通常很好地表现出词义的信息，但多义词的罕见含义对单向量嵌入的负面影响很小，对依赖于常见含义的自然语言处理应用的性能没有影响。

    Jun, 2019

  • 将多义词嵌入扩展到短语和句子，用于无监督语义应用

    提出一种新的文本编码方法，使用多模编码来表示文本序列的不同语义因素，并从输入文本序列中直接预测聚类中心来改善无监督句子相似性和提取式摘要。

    Mar, 2021