词义消歧语言模型的分析与评价
本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD),并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义,使模型能够消除未知的多义词。实验结果显示,我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。
Sep, 2019
本文探讨了语言模型在推理时区分词义的能力,并将词义消歧视为文本蕴含问题,通过领域分类的方式在常用语言模型上进行了实验,结果表明这种方法的效果接近于有监督学习系统。
Feb, 2023
本研究致力于提高利用词汇资源和神经网络的方法进行词义消歧(WSD)的性能。我们提出了基于 BERT 的 WSD 系统,并在 SemCor3.0 上对其进行了微调,实验结果表明,我们的方法优于现有的最先进系统。
Aug, 2019
本研究将词义消歧问题作为相关性排序任务,利用数据增强技术和 BERT 等预备语言模型完成域适应学习和迁移学习,在英文全词基准数据集上实现了最新成果。
Sep, 2020
该研究论文探讨自然语言处理领域中关于理解和解决语言中的歧义的技术,强调了多义性和同音异义性等语言现象的复杂性,以及它们对计算模型的影响。论文详细介绍了从深度学习技术到利用词汇资源和知识图谱(如 WordNet)的各种方法,重点研究了词义消歧(Word Sense Disambiguation)。它引入了词义扩展(word sense extension)和神经肌阵挛方法等最新方法,通过预测新的词义来提高消歧准确性。论文还讨论了生物医学消歧和语言特定优化等具体应用,并讨论了认知隐喻在话语分析中的重要性。研究还确定了该领域存在的持续挑战,例如词义注释语料库的稀缺性和非正式临床文本的复杂性。最后,论文提出了未来的研究方向,包括使用大型语言模型、视觉词义消歧和多语言词义消歧系统,强调了在处理自然语言处理中的词汇复杂性方面的持续演进。该研究论文突显了这一领域在使计算机更准确地理解语言方面的进展。
Mar, 2024
本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧(MWSD)系统的方法,利用统一的语义表示,将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题,并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。
Oct, 2022
本研究提出了一种基于预训练的词嵌入,利用完全无监督和无基于知识的方法诱导一个完整的词义库,并实现对 158 种语言中的单词进行上下文消歧,对于资源匮乏的语言特别有用。
Mar, 2020
介绍一种利用最近邻分类法和上下文表示词嵌入进行词义消歧的简单而有效的方法,并比较不同的上下文表示模型在该任务上的表现。使用标准的词义消歧数据集表明,在这项任务上,与现有技术相比,已取得了改进。另外还展示了预训练的 BERT 模型能够将多义词与嵌入空间的不同 “意义” 区域联系起来,而 ELMo 和 Flair NLP 似乎没有这种能力。
Sep, 2019
本研究使用主题模型的形式设计了一种词义消歧系统,使其在上下文单词数线性增长的情况下扩展,该方法在 5 个英语全单词 WSD 数据集上进行的评估表明,其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。
Jan, 2018
本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果,通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估,随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量,最终证明这种方法可以优于几个基准模型。
Oct, 2018