Jun, 2024

通过语境化语言模型诱导概念：从词义到更多

PDF
TL;DR通过本文，我们引入了概念归纳这个非监督任务，从数据中学习一组定义概念的词语软聚类，该任务概括了词义归纳的任务。我们提出了一种双层方法来进行概念归纳，充分利用了本地词元为中心和全局跨词库视角来引导概念的生成。我们在 SemCor 的注释数据上评估所得到的聚类，并获得了良好的性能（BCubed F1 大于 0.60）。我们发现在我们的设置中，本地和全局层次相互有益于概念和词义的生成。最后，我们创建了表示我们引入的概念的静态嵌入，并在上下文任务中使用它们，取得了与现有技术相媲美的性能。
polysemysynonymylexical ambiguityconcept inductionword-in-context
发现论文，激发创造
  • 多义性的几何学

    本文提出了一种三倍增的方法来进行无监督的多义词建模，其中使用低秩子空间来表示包含目标单词的句子，通过对表示的格拉斯曼几何进行聚类算法对目标单词的不同义项进行消歧辨别，最后基于英文维基百科语料库得出了多个词和词义对的表示，这些算法在标准意义识别和消歧辨别数据集上带来了新的最佳成果。

    Oct, 2016

  • PolyLM: 通过语言模型学习多义词

    PolyLM 是一种基于语言建模的词义嵌入方法，能够融合上下文化嵌入技术，通过对词义的建模及概率计算实现更加准确的词义感知，在词义感知任务上性能优于先前的方法，且只有现有方法参数数量的六分之一。

    Jan, 2021

  • 语境化语言模型中的词汇歧义模式

    本文研究了语境化语言模型的多义词辨别能力。作者提出了一个人工注释的数据集，用于评估多义词词义的相似性，发现多义词的词义相似性介于相同和同音异义之间，并呈现出一定的词义变化规律性。BERT Large 在相似性等级方面表现最佳，但无法一致地复制观察到的相似性模式，并且在某些类型的多义词变化上存在问题。

    Sep, 2021

  • 上下文诱导的词嵌入编码人类词义知识的方面

    本文探讨了自然语言处理中的一项工作，基于 BERT 嵌入空间来评估英语单词的多义和同音词意义之间的相关性。发现使用 BERT 嵌入模型能够在意义表示上更加清晰地捕捉多义性和同音词意的潜在结构，具有潜在的应用价值。

    Oct, 2020

  • 词义感知词向量学习

    本文提出一种基于 sense embeddings 方法的词义感知 (word sense induction) 算法，通过 Sense 聚类和 Contextual 向量来辨别多义词的词义，相对于传统基于分布式模型的方法，我们的算法可以更好地处理语义相似性，通过对 SemEval-2010 数据进行的实验表明，本算法的效果优于所有参赛者及最近的大部分最新方法。

    Jun, 2016

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023

  • Watset: 从同义词图中自动归纳同义词集

    本研究提出了一种基于图的方法，利用同义词词典和词嵌入诱导同义词集。首先，我们建立了一个从常见资源（例如 Wiktionary）中提取同义词的加权图。其次，我们应用词义归纳来处理有歧义的单词。最后，我们将有歧义输入图的已消除歧义版本聚类到同义词集中。虽然方法简单，但在三个由人工构建的大规模词汇资源衍生的英语和俄语的黄金标准 数据集上，在 F-score 方面表现出优秀的结果，超越了五种有竞争力的最新方法。

    Apr, 2017

  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • 语言建模具有意义：通过 WordNet 传播表征进行全覆盖词义消歧

    利用语境嵌入表示的词义表征，基于 WordNet 全覆盖创造了意义级别嵌入，并不依赖于显式知识或任务特定建模，从而实现了前所未有的词语消歧性能提升。

    Jun, 2019

  • 上下文感知的语义相似度测量用于无监督词义消歧

    本研究提出一种新的上下文感知的无监督词义消歧方法，通过将上下文信息纳入相似度量计算过程中，有效地管理文本中的词义模糊，从而提高了词义消歧的准确性并超越了现有的多种技术。

    May, 2023