Dec, 2021

机器翻译中提高领域鲁棒性和领域适应性

HTML
PDF
TL;DR本文探讨了基于元学习的神经机器翻译领域自适应的两个问题；一是如何实现跨领域鲁棒性，即在训练数据包括两个领域时获得高质量的翻译结果；二是如何实现适应性，即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明，我们提出的元学习模型（RMLNMT）能够显著提高模型的领域鲁棒性和适应性，同时包括已知领域和未知领域。
发现论文，激发创造
  • 神经机器翻译的领域控制

    通过对多个领域进行翻译的唯一神经网络在运行时进行的域控制技术，生成的神经机器翻译模型不需要针对每个领域重新估算模型参数，为真实使用场景提供了一种有效的方法，且无论是针对任何一个领域还是针对未知域的数据翻译，本文所提出的新技术都显示了质量的提高。

    Dec, 2016

  • 神经机器翻译简单领域适应方法的实证比较

    本文提出了一种新颖的领域自适应方法——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对NMT模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。

    Jan, 2017

  • 通过词表归纳进行神经机器翻译的领域适应

    本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外NMT模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在20对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达14 BLEU和强反向翻译基线的最高2 BLEU。

    Jun, 2019

  • 面向神经机器翻译的无监督领域自适应与领域感知特征嵌入

    提出一种通过使用语言建模来学习领域感知特征嵌入，在多个实验中提高神经机器翻译性能的方法，该方法允许使用者指定特定领域的文本表示。

    Aug, 2019

  • 神经机器翻译的领域差异适应

    本文介绍了『Domain Differential Adaptation（DDA）』的框架，该框架通过使用相关任务中的模型直接建模不同领域之间的差异，从而成功地应用于神经机器翻译的领域自适应中，并在多个实验设置中实现比其他替代方法更好的改进效果。

    Oct, 2019

  • 神经机器翻译的领域鲁棒性

    本文研究了机器翻译模型在未知领域中的性能表现，发现在未知领域中，统计机器翻译（SMT）和神经机器翻译（NMT）系统存在不同的问题：SMT系统通常足够但不流利，而NMT系统流利但不足够。本文发现，NMT系统出现的“幻觉”现象是造成低域稳健性的主要原因，研究并比较了有关提高NMT系统稳健性的方法，实验结果表明，这些方法能够稍微提高NMT系统翻译的充分性，但对流畅性的提高较小。

    Nov, 2019

  • Few-Shot NMT 自适应元学习

    META-MT 提供了一种新的基于元学习的方法来适应神经机器翻译系统 (NMT)，可以使 NMT 模型很容易地适应多个领域的目标，同时需要极少量的领域数据。通过在模拟的离线元训练领域适应任务的基础上学习如何适应新的未见过的领域，我们将 NMT 系统的适应性视为元学习问题。我们在十个领域上评估了提出的元学习策略并展示了在很少的领域样例可用时，META-MT 可以显著优于经典的领域适应并且可以在只见到 4,000 个已翻译的单词 (300 对平行句子) 后比经典微调的 BLEU 指标高出多达 2.5 个点。

    Apr, 2020

  • 神经机器翻译中低资源域适应的正确配方寻找

    本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果，在低资源条件下提出了集成方法来缓解翻译质量的降低，并给出了在三个领域和四个语言对中的建议。

    Jun, 2022

  • 关于预训练语言模型的领域自适应和泛化：一项综述

    本文介绍了近年来自然语言处理中预训练语言模型（PLMs）的最新进展，并为适应目标领域提供了一种有效的方法。考察了PLMs的应用问题并提出了域自适应方法的分类方案，包括输入扩充、模型优化和个性化等方法。

    Nov, 2022

  • 机器翻译中鲁棒性适应的软对齐目标

    这项研究介绍了建立在预测令牌语义相似度的新型训练目标，通过避免单个正确预测的假设，可以减轻域自适应中的灾难性遗忘，同时保持适应质量，并且计算成本几乎可以忽略不计。

    Nov, 2022