ACLOct, 2017

将词义逐步无缝集成到下游自然语言处理应用中

PDF
TL;DR通过将新颖的消歧算法与最先进的分类模型相结合，我们创建了一个流程来将语义级别的信息整合进下游自然语言处理应用程序中，尤其是当底层语义清单的细粒度降低且文档足够大时，在多个主题分类和极性检测数据集上，我们发现对输入文本进行简单的消歧可以带来一致的性能提升。我们的结果还指出，需要更多地关注关注语义表示研究中基于下游自然语言处理应用程序的实际评估，而不是人造基准。
发现论文，激发创造
  • 词汇歧义检测与词义消歧综述

    该研究论文探讨自然语言处理领域中关于理解和解决语言中的歧义的技术，强调了多义性和同音异义性等语言现象的复杂性，以及它们对计算模型的影响。论文详细介绍了从深度学习技术到利用词汇资源和知识图谱（如 WordNet）的各种方法，重点研究了词义消歧（Word Sense Disambiguation）。它引入了词义扩展（word sense extension）和神经肌阵挛方法等最新方法，通过预测新的词义来提高消歧准确性。论文还讨论了生物医学消歧和语言特定优化等具体应用，并讨论了认知隐喻在话语分析中的重要性。研究还确定了该领域存在的持续挑战，例如词义注释语料库的稀缺性和非正式临床文本的复杂性。最后，论文提出了未来的研究方向，包括使用大型语言模型、视觉词义消歧和多语言词义消歧系统，强调了在处理自然语言处理中的词汇复杂性方面的持续演进。该研究论文突显了这一领域在使计算机更准确地理解语言方面的进展。

    Mar, 2024

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • 词义归纳技术的现状：一种面向资源匮乏语言的词义消歧方法

    这篇论文是关于如何运用词义感知诱导方法在缺乏词汇资源的语言中初始开展词义消岐研究，并提出了一些有趣的研究重点。

    Oct, 2013

  • 使用双向 LSTM 进行词义消歧

    本文提出了一个使用双向长期短期记忆网络的干净而有效的词义消歧模型，该模型能够共享统计强度并且随着词汇量的增长实现很好的可扩展性。我们对其进行了两个标准数据集的评估，并取得了与最佳现有系统相同的效果，同时没有使用任何外部资源或手工编写规则。

    Jun, 2016

  • 词义消歧语言模型的分析与评价

    本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

    Aug, 2020

  • 使用主题模型的基于知识的词义消歧

    本研究使用主题模型的形式设计了一种词义消歧系统，使其在上下文单词数线性增长的情况下扩展，该方法在 5 个英语全单词 WSD 数据集上进行的评估表明，其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。

    Jan, 2018

  • 使用仅词嵌入的方法对 158 种语言进行词义消歧

    本研究提出了一种基于预训练的词嵌入，利用完全无监督和无基于知识的方法诱导一个完整的词义库，并实现对 158 种语言中的单词进行上下文消歧，对于资源匮乏的语言特别有用。

    Mar, 2020

  • 将弱监督的词义消歧集成到神经机器翻译中

    本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果，通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估，随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量，最终证明这种方法可以优于几个基准模型。

    Oct, 2018

  • 利用 WordNet 的语义知识提高神经词义消歧中的语义词汇压缩

    提出两种不同的方法来压缩 Princeton WordNet 的词义词汇，以及基于预训练的 BERT 词向量建立的 WSD 系统，在不需要额外训练数据的情况下大幅减小了神经 WSD 模型的大小，并在所有 WSD 评估任务上显著优于现有技术水平。

    May, 2019

  • 利用 BERT 进行词义消歧

    本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD)，并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义，使模型能够消除未知的多义词。实验结果显示，我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。

    Sep, 2019