ACLMay, 2020

使用 Gloss 消歧信息的双编码器向词义消歧的长尾延伸

PDF
TL;DR本研究提出了一种基于双编码器模型的词义消歧方法，通过将目标词与其上下文以及每个意义所对应的词典定义进行独立编码后，将两部分编码器在相同的表示空间中联合优化，从而实现通过寻找最相似的意义编码来进行词义消歧。结果表明，该模型在英语全词 WSD 任务上表现出色，尤其在对稀有义项的处理上取得了明显提高，使得其在少见义项上的失误率降低了 31.1%。这证明了通过建模稀有义项的定义可以更有效地进行词义消歧。
发现论文，激发创造
  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • GlossBERT: 一种具备词汇知识的词义消歧 BERT 模型

    本研究致力于提高利用词汇资源和神经网络的方法进行词义消歧（WSD）的性能。我们提出了基于 BERT 的 WSD 系统，并在 SemCor3.0 上对其进行了微调，实验结果表明，我们的方法优于现有的最先进系统。

    Aug, 2019

  • 将词汇注释融入神经词义消歧

    该论文提出了一种新的神经网络模型 GAS，在词汇资源和上下文信息的共同作用下实现了更好的词义消歧效果。

    May, 2018

  • 基于知识的词义消歧的语义专业化

    本文提出了一种基于词汇知识的语境化嵌入模型用于词义消岐，将相关语义的词义和上下文靠近，将不相关的远离，用 Attract-Repel 目标函数和自训练目标函数对嵌入进行调整，实现了在知识为基础的词义消岐方面的最新前沿成果。

    Apr, 2023

  • 词义消歧语言模型的分析与评价

    本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

    Aug, 2020

  • 使用词义消歧解决多词表达识别的问题

    本文中，我们使用 Bi-encoder 模型训练了一个过滤多词表达式候选人的模型，该模型使用锁定和上下文信息。我们在 DiMSUM 数据集上实现了最优结果，在 PARSEME 1.1 英语数据集上使用此方法获得了有竞争力的结果。同时，我们还尝试使用 Poly-encoder 模型对 MWE 进行识别和 WSD，并引入了一个修改的 Poly-encoder 结构，在这些任务上表现优于标准 Poly-encoder。

    Mar, 2023

  • 非参数少样本学习用于词义消歧

    本文提出了一种基于 MetricWSD 的非参数的少样本学习方法，通过进行情节性训练，并学习计算给定单词的不同意义之间的距离，将高频词的学习度量空间转移到低频的单词中，从而避免了在自然语言处理中监督式全单词 WSD 的一个重要挑战中的数据不平衡问题。该方法在不依赖任何词汇资源的情况下，能够获得强大的性能，并通过联合 WSD 评估基准实现了 75.1 F1 得分的良好表现。

    Apr, 2021

  • 将弱监督的词义消歧集成到神经机器翻译中

    本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果，通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估，随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量，最终证明这种方法可以优于几个基准模型。

    Oct, 2018

  • 连点成线：通过对齐词义库桥接单词和定义之间的语义关系

    本研究提出了一种采用词义从不同词义库中匹配相同词义的定义句子（术语）的光泽对齐算法，并使用这些对齐的库训练模型以确定目标单词在上下文中的语义等效性，解决了有限的训练数据和集中于 WordNet 等预定义的词义库的问题；实验结果表明，所提出的方法改善了所有词义和低频词义的预测，并优于现有工作。

    Oct, 2021

  • 利用 BERT 进行词义消歧

    本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD)，并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义，使模型能够消除未知的多义词。实验结果显示，我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。

    Sep, 2019