EMNLPAug, 2019

GlossBERT: 一种具备词汇知识的词义消歧 BERT 模型

PDF
TL;DR本研究致力于提高利用词汇资源和神经网络的方法进行词义消歧（WSD）的性能。我们提出了基于 BERT 的 WSD 系统，并在 SemCor3.0 上对其进行了微调，实验结果表明，我们的方法优于现有的最先进系统。
发现论文，激发创造
  • 将词汇注释融入神经词义消歧

    该论文提出了一种新的神经网络模型 GAS，在词汇资源和上下文信息的共同作用下实现了更好的词义消歧效果。

    May, 2018

  • 利用 BERT 进行词义消歧

    本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD)，并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义，使模型能够消除未知的多义词。实验结果显示，我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。

    Sep, 2019

  • 使用术语选择适应 BERT 进行词义消歧的例句目标

    本研究将词义消歧问题作为相关性排序任务，利用数据增强技术和 BERT 等预备语言模型完成域适应学习和迁移学习，在英文全词基准数据集上实现了最新成果。

    Sep, 2020

  • 使用主题模型的基于知识的词义消歧

    本研究使用主题模型的形式设计了一种词义消歧系统，使其在上下文单词数线性增长的情况下扩展，该方法在 5 个英语全单词 WSD 数据集上进行的评估表明，其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。

    Jan, 2018

  • 词义消歧语言模型的分析与评价

    本文对 BERT 模型在词汇歧义方面的能力及其潜在局限性进行了深入的定量和定性分析。作者发现，BERT 可以准确地捕捉高级别的意义区别，但对于具有限定条件的名词消歧问题，处理仍存在很多挑战。作者还在两种主要的基于语言模型的 WSD 策略（即微调和特征提取）之间进行了深入比较，并发现后一种方法更为稳健。

    Aug, 2020

  • 连点成线：通过对齐词义库桥接单词和定义之间的语义关系

    本研究提出了一种采用词义从不同词义库中匹配相同词义的定义句子（术语）的光泽对齐算法，并使用这些对齐的库训练模型以确定目标单词在上下文中的语义等效性，解决了有限的训练数据和集中于 WordNet 等预定义的词义库的问题；实验结果表明，所提出的方法改善了所有词义和低频词义的预测，并优于现有工作。

    Oct, 2021

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • ArabGlossBERT: 基于上下文 - 词汇解释对的 BERT 微调用于 WSD

    本文介绍了使用预训练的 transformer 模型（例如 BERT）对阿拉伯语词义消歧（WSD）进行微调的工作。我们将 WSD 任务视为句子对二进制分类任务，并针对三个预先训练的阿拉伯 BERT 模型进行了微调，通过构建标记的阿拉伯文本 - 义项对数据集，实现了很好的结果（84% 的准确性）并使用不同的监督信号强调上下文中的目标词。

    May, 2022

  • 基于知识的词义消歧的语义专业化

    本文提出了一种基于词汇知识的语境化嵌入模型用于词义消岐，将相关语义的词义和上下文靠近，将不相关的远离，用 Attract-Repel 目标函数和自训练目标函数对嵌入进行调整，实现了在知识为基础的词义消岐方面的最新前沿成果。

    Apr, 2023

  • 通过语义词汇资源增强现代监督式词义消歧模型

    通过在现代监督式词义消歧模型中将语义特征引入分类器并考虑使用语义词典结构来增加训练数据，本文提出了一种有效的增强模型。通过研究不同类型的语义特征与本地上下文的交互作用，本文将所提出的模型扩展为一种新颖的多层架构，实验证明这种方法可以与现有的最新方法相比较。

    Feb, 2024