ArabGlossBERT: 基于上下文 - 词汇解释对的 BERT 微调用于 WSD
本研究将词义消歧问题作为相关性排序任务,利用数据增强技术和 BERT 等预备语言模型完成域适应学习和迁移学习,在英文全词基准数据集上实现了最新成果。
Sep, 2020
本研究致力于提高利用词汇资源和神经网络的方法进行词义消歧(WSD)的性能。我们提出了基于 BERT 的 WSD 系统,并在 SemCor3.0 上对其进行了微调,实验结果表明,我们的方法优于现有的最先进系统。
Aug, 2019
本文介绍了通过 (Arabic-English-Arabic) 机器回译,对 ArabGlossBERT 数据集进行了扩充。结果数据集大小增加到 352K 个对(149K 个正对和 203K 个负对)。我们使用不同的数据配置来微调目标意义验证(TSV)任务,并且测量扩充的影响。虽然我们的方法表现出了与基准线相当的性能,但在某些实验中,也观察到了一些部分词性的改进。
Feb, 2023
本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现,BERT 可以准确地捕捉高级别的意义区别,但对于具有限定条件的名词消歧问题,处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略(即微调和特征提取)之间进行了深入比较,并发现后一种方法更为稳健。
Aug, 2020
本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD),并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义,使模型能够消除未知的多义词。实验结果显示,我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。
Sep, 2019
本文讲述了 Alberta 大学团队在 SemEval-2023 视觉词义消歧(V-WSD)任务中的系统,使用 BabelNet 中检索到的注释、文本和图像编码器的组合的新算法。此外,我们将语言特定的编码器与应用于翻译文本的英语编码器进行比较。由于任务数据集中提供的上下文非常短,因此我们还使用语言模型生成的描述来增强这些上下文,从而显著提高了准确性。我们还描述并评估了使用图像生成和文本条件图像分割的其他 V-WSD 方法。总体而言,我们的官方提交结果将我们排名第 18,一些我们的非官方结果甚至比官方结果更好。
Jun, 2023
本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果,通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估,随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量,最终证明这种方法可以优于几个基准模型。
Oct, 2018
本研究使用主题模型的形式设计了一种词义消歧系统,使其在上下文单词数线性增长的情况下扩展,该方法在 5 个英语全单词 WSD 数据集上进行的评估表明,其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。
Jan, 2018
该研究提出了一种基于 RoBERTa 的隐喻检测模型 ContrastWSD,它结合了隐喻识别过程(MIP)和词义消歧(WSD),通过提取和对比单词的上下文意义和基本含义,确定其是否在句子中以隐喻方式使用。通过利用来自 WSD 模型的词义,我们的模型增强了隐喻检测过程,并优于仅依赖上下文嵌入或仅集成基本定义和其他外部知识的其他方法。我们在各种基准数据集上评估了我们的方法,并与强基线进行了比较,表明了在推进隐喻检测方面的有效性。
Sep, 2023
本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧(MWSD)系统的方法,利用统一的语义表示,将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题,并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。
Oct, 2022