Mar, 2023

使用词义消歧解决多词表达识别的问题

PDF
TL;DR本文中，我们使用 Bi-encoder 模型训练了一个过滤多词表达式候选人的模型，该模型使用锁定和上下文信息。我们在 DiMSUM 数据集上实现了最优结果，在 PARSEME 1.1 英语数据集上使用此方法获得了有竞争力的结果。同时，我们还尝试使用 Poly-encoder 模型对 MWE 进行识别和 WSD，并引入了一个修改的 Poly-encoder 结构，在这些任务上表现优于标准 Poly-encoder。
word sense disambiguationmultiword expression identificationbi-encoder modelpoly-encoder modelgloss
发现论文，激发创造
  • 使用 BERT (s) 检测多词表达式

    本文探索使用最先进的神经转换器来检测多词表达的任务， 并在 SemEval-2016 Task 10 数据集中实验评估了几个 Transformer 模型，结果表明 Transformer 模型优于基于长短期记忆（LSTM）的以前的神经模型。

    Aug, 2022

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • 多词语无监督释义

    提出了一种用于无监督多词表达式改写的方法，通过使用单语料库和预训练语言模型（无需微调），不需要使用任何外部资源，例如词典，并在 SemEval 2022 成语语义文本相似度任务上表现优于所有无监督系统并与监督系统相媲美。

    Jun, 2023

  • 使用 Gloss 消歧信息的双编码器向词义消歧的长尾延伸

    本研究提出了一种基于双编码器模型的词义消歧方法，通过将目标词与其上下文以及每个意义所对应的词典定义进行独立编码后，将两部分编码器在相同的表示空间中联合优化，从而实现通过寻找最相似的意义编码来进行词义消歧。结果表明，该模型在英语全词 WSD 任务上表现出色，尤其在对稀有义项的处理上取得了明显提高，使得其在少见义项上的失误率降低了 31.1%。这证明了通过建模稀有义项的定义可以更有效地进行词义消歧。

    May, 2020

  • 基于 Transformer 模型的多词表达语义研究：一项调查

    通过对多词表达式的深入调查，我们发现 Transformer 模型在捕捉多词表达式的语义上存在不一致性，主要依赖表面模式和记忆信息，并且其表示在架构的早期层中主要存在。另外，我们强调了更直接可比较的评估设置的需求。

    Jan, 2024

  • 利用 BERT 进行词义消歧

    本文提出使用 BERT 提取更好的词义多义词表征表示用于词义消歧 (WSD)，并探索了几种 BERT 和分类器的组合方式。通过使用单一分类器来训练所有词语的语义定义，使模型能够消除未知的多义词。实验结果显示，我们的模型在标准的英语全词 WSD 评估中取得了最先进的结果。

    Sep, 2019

  • 侧抑制和领域适应在多语言多词表达式识别中的应用

    为在多语境环境下准确识别多词表达式 (MWEs)，在所有第 1.2 版 PARSEME 语料库中可用的 14 种语言上对 mBERT 模型进行训练，并将侧向抑制和语言对抗性训练纳入方法中，以创建语言无关的嵌入并提高其识别多词表达式的能力，该方法在全球 MWE 识别中比 PARSEME 1.2 竞赛的最佳系统 MTLB-STRUCT 在 11 种语言中更好地实现，对于未见 MWE 识别中的 12 种语言，平均所有语言，我们的最佳方法在全球 MWE 识别上优于 MTLB-STRUCT 系统 1.23％，在未见全球 MWE 识别上优于 MTLB-STRUCT 系统 4.73％。

    Jun, 2023

  • 使用主题模型的基于知识的词义消歧

    本研究使用主题模型的形式设计了一种词义消歧系统，使其在上下文单词数线性增长的情况下扩展，该方法在 5 个英语全单词 WSD 数据集上进行的评估表明，其性能优于这一领域的当前最先进无监督知识为基础的 WSD 系统。

    Jan, 2018

  • 神经机器翻译中注意多词表达

    探究了神经机器翻译 (NMT) 在英文 - 拉脱维亚语和英文 - 捷克语 NMT 系统中分配注意力和改善包含多词表达式 (MWE) 的句子的自动翻译，使用两种改进策略：自动提取的 MWE 候选句对和包含提取的 MWE 候选句的完整句子，两种方法均取得了良好的结果，其中第一种方法表现最佳，自动评估结果提高了 0.99 BLEU 点。同时还提供了用于 MWE 提取和对齐检查的开源软件和工具。

    Oct, 2017

  • 将弱监督的词义消歧集成到神经机器翻译中

    本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果，通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估，随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量，最终证明这种方法可以优于几个基准模型。

    Oct, 2018