EMNLPOct, 2023

以词义进行编码切换的神经网络机器翻译预训练

PDF
TL;DR我们介绍了一种使用知识库中词义特定信息进行预训练的多语言神经机器翻译模型的端到端方法，通过实验证明了我们方法在整体翻译质量上有显著改进，并且在 DiBiMT 消歧测试中显示出了精确性改进的鲁棒性。
lexical ambiguityneural machine translationpolysemous wordsword sense pretrainingmultilingual pretraining
发现论文，激发创造
  • 将弱监督的词义消歧集成到神经机器翻译中

    本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果，通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估，随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量，最终证明这种方法可以优于几个基准模型。

    Oct, 2018

  • 神经机器翻译的代码切换预训练

    提出了一种新的预训练方法 Code-Switching Pre-training（CSP），它通过利用源语言和目标语言之间的跨语言对齐信息来预先训练神经机器翻译模型，该方法通过无监督的词嵌入映射词典识别源语言和目标语言之间的单词替换，克服了传统模型的随机屏蔽单词的缺点。实验结果表明，该方法在无监督和有监督的机器翻译任务上都取得了显著提高。

    Sep, 2020

  • 使用代码转换增强预设翻译的神经机器翻译

    研究一种使用代码转换从而生成的训练数据的数据增强方法来限制大众翻译机器在本地词汇翻译方面的失误问题。

    Apr, 2019

  • 统一语义表示的多语言词义消歧

    本文提出了一种基于多语言词典建立知识和监督为基础的多语言词义消歧（MWSD）系统的方法，利用统一的语义表示，将多种语言的注释进行共同训练以解决 MWSD 的注释稀缺问题，并在 SemEval-13 和 SemEval-15 数据集上展示了该方法的有效性。

    Oct, 2022

  • 词汇歧义检测与词义消歧综述

    该研究论文探讨自然语言处理领域中关于理解和解决语言中的歧义的技术，强调了多义性和同音异义性等语言现象的复杂性，以及它们对计算模型的影响。论文详细介绍了从深度学习技术到利用词汇资源和知识图谱（如 WordNet）的各种方法，重点研究了词义消歧（Word Sense Disambiguation）。它引入了词义扩展（word sense extension）和神经肌阵挛方法等最新方法，通过预测新的词义来提高消歧准确性。论文还讨论了生物医学消歧和语言特定优化等具体应用，并讨论了认知隐喻在话语分析中的重要性。研究还确定了该领域存在的持续挑战，例如词义注释语料库的稀缺性和非正式临床文本的复杂性。最后，论文提出了未来的研究方向，包括使用大型语言模型、视觉词义消歧和多语言词义消歧系统，强调了在处理自然语言处理中的词汇复杂性方面的持续演进。该研究论文突显了这一领域在使计算机更准确地理解语言方面的进展。

    Mar, 2024

  • 使用 BERT 知识蒸馏进行词义归纳

    该研究提出了一种两阶段的方法，使用上下文中单词意义的注意力来提取一个单词的多重意义，并将其传递到 skip-gram 模型中，以生成多重意义的嵌入，这比现有技术表现更好，可应用于主题建模。

    Apr, 2023

  • 利用代码交替改进语义检索的跨语言表示

    本研究提出了一种基于代码切换的备选跨语言 PTM 方法用于语义检索，通过引入代码切换的持续预训练，相对于直接使用 PTM 在语义检索任务上的方法，我们的方法在二十多种语言的三个商业语料库和四个开放数据集上连续超过了之前的 SOTA 方法。

    Mar, 2024

  • 检测机器翻译中单词义消歧偏差的方法，以进行模型无关的对抗攻击

    本文针对神经机器翻译模型在词义消歧中由于过度依赖训练数据中的表浅词共现而产生的错误提出了一种基于统计数据特性的预测方法，并在多个领域和模型类型中验证了其有效性。同时，我们还开发了一种简单的对抗攻击策略，最小化地扰动句子以引发消歧错误，以进一步探索翻译模型的鲁棒性。我们的发现表明不同领域中的消歧鲁棒性差异很大，并且在相同数据上训练的不同模型容易遭受不同的攻击。

    Nov, 2020

  • 利用 WordNet 的语义知识提高神经词义消歧中的语义词汇压缩

    提出两种不同的方法来压缩 Princeton WordNet 的词义词汇，以及基于预训练的 BERT 词向量建立的 WSD 系统，在不需要额外训练数据的情况下大幅减小了神经 WSD 模型的大小，并在所有 WSD 评估任务上显著优于现有技术水平。

    May, 2019

  • 使用预训练语言模型进行零样本多语言词义消歧

    本文使用 Contextual Word-Level Translation 扩展了 Pretrained Language Models 来探究 PLM 对跨语言词义的捕捉能力，进而提高零样本单词语义消歧的效果，结果表明我们的方法在多种语言上的效果均好于监督学习基线。

    Apr, 2023