使用术语选择适应 BERT 进行词义消歧的例句目标
本研究致力于提高利用词汇资源和神经网络的方法进行词义消歧(WSD)的性能。我们提出了基于 BERT 的 WSD 系统,并在 SemCor3.0 上对其进行了微调,实验结果表明,我们的方法优于现有的最先进系统。
Aug, 2019
本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD),并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义,使模型能够消除未知的多义词。实验结果显示,我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。
Sep, 2019
本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现,BERT 可以准确地捕捉高级别的意义区别,但对于具有限定条件的名词消歧问题,处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略(即微调和特征提取)之间进行了深入比较,并发现后一种方法更为稳健。
Aug, 2020
本文介绍了使用预训练的 transformer 模型(例如 BERT)对阿拉伯语词义消歧(WSD)进行微调的工作。我们将 WSD 任务视为句子对二进制分类任务,并针对三个预先训练的阿拉伯 BERT 模型进行了微调,通过构建标记的阿拉伯文本 - 义项对数据集,实现了很好的结果(84% 的准确性)并使用不同的监督信号强调上下文中的目标词。
May, 2022
本研究使用主题模型的形式设计了一种词义消歧系统,使其在上下文单词数线性增长的情况下扩展,该方法在 5 个英语全单词 WSD 数据集上进行的评估表明,其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。
Jan, 2018
该研究提出了一种两阶段的方法,使用上下文中单词意义的注意力来提取一个单词的多重意义,并将其传递到 skip-gram 模型中,以生成多重意义的嵌入,这比现有技术表现更好,可应用于主题建模。
Apr, 2023
通过引入注意力机制,本文提出一种新的词义消歧方法,将多种语言特征的多重注意力权重结合在一起,构建了一个更加灵活的编码器 - 解码器模型,从而在实现高准确率的同时,缩小了模型与人类专家之间的差距。
Sep, 2018
本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果,通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估,随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量,最终证明这种方法可以优于几个基准模型。
Oct, 2018
本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧(MWSD)系统的方法,利用统一的语义表示,将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题,并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。
Oct, 2022
本文提出了一种基于词汇知识的语境化嵌入模型用于词义消岐,将相关语义的词义和上下文靠近,将不相关的远离,用 Attract-Repel 目标函数和自训练目标函数对嵌入进行调整,实现了在知识为基础的词义消岐方面的最新前沿成果。
Apr, 2023