神经机器翻译微调的正则化技术

EMNLPJul, 2017

Regularization techniques for fine-tuning in neural machine translation

Antonio Valerio Miceli Barone, Barry Haddow, Ulrich Germann, Rico Sennrich

TL;DR本研究探讨了神经机器翻译的监督域自适应技术，针对现有模型在大型非领域数据集训练后，如何适应小型领域数据集所出现的过拟合问题。在整个过程中，正则化技术，如 dropout 和 L2 正则化与非领域先验之间的关系得到了深入研究。此外，文章提出了一种新型的正则化技术 ——tuneout，即启发式 dropout。我们将这些技术单独或结合应用于神经机器翻译，以英语 -> 德语、英语 -> 俄语的 IWSLT 数据集为例取得了改进。此外，我们还研究了 NMT 领域中所需的领域内训练数据量，并发现培训数据与 BLEU 分数之间存在对数关系。

Abstract

We investigate techniques for supervised domain adaptation for neural machine translation where an existing model trained on a large out-of-domain dataset is adapted to a small in-domain dataset. In this scenario, overfitting is a major challenge. We investigate a number of techniques

supervised domain adaptation neural machine translation regularization techniques tuneout in-domain training data

发现论文，激发创造

神经语言模型的域自适应权衡

探讨了语言模型适应与机器学习理论的关系，研究了大型领域外训练集和小型领域内训练集之间的训练方法的优劣，提出了领域外预训练加上领域内微调比单独应用更为通用，并提出了基于数据选择的适应技术的公共框架。

Sep, 2021

神经机器翻译简单领域适应方法的实证比较

本文提出了一种新颖的领域自适应方法 ——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对 NMT 模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。

Jan, 2017

域对抗微调作为有效的正则化器

介绍了一种新的正则化技术，使用对抗性目标来进行领域敌对微调，可以有效提高预训练语言模型在各种自然语言理解任务中的表现。

Sep, 2020

神经机器翻译领域自适应推理

研究神经机器翻译中的自适应集成加权，解决在不牺牲原始域性能的情况下提高新领域性能，通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较，提出自适应 NMT 集成解码的新方案，采用源信息扩展贝叶斯插值，并在没有域标签的情况下在测试领域中展现了较强的改进。

Jun, 2019

Mixout：一种有效的正则化方法，用于微调大规模预训练语言模型

本文提出了一种新的正则化技术，名为 “mixout”，并在预训练语言模型上的下游任务中展示了其稳定性和准确性的提高。

Sep, 2019

信息引导的正则化用于微调语言模型

传统的预训练 - 微调策略已被视为现代语言建模中的转移学习策略，但需要更具目标敏感性的参数正则化方法以实现更平滑的转移学习。本文通过信息论的角度研究了预训练损失函数在任务敏感参数上的影响，并利用研究结果提出了一种新颖的用于改善模型正则化和下游泛化性能的 dropout 方法，名为 guided dropout。通过实证评估表明，相比于标准基线，在数据稀缺的情况下，我们的正则化方法始终能够得到更好的性能。

Jun, 2024

通过词表归纳进行神经机器翻译的领域适应

本文提出了一种无监督的自适应方法，使用伪域内语料库通过微调预先训练的域外 NMT 模型，借助词典诱导提取域内词汇，并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库，在 20 对自适应设置和两种模型架构的五个领域中，我们的方法始终显示出提高，而不需要使用任何域内平行句子，改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。

Jun, 2019

神经机器翻译的领域自适应调查

本文全面调查总结了当前最先进的神经机器翻译领域适应技术，旨在解决场景中特定领域缺乏相应语料库而导致自然语言翻译效果下降的问题。

Jun, 2018

通过多语言转移学习利用跨领域平行数据进行低资源神经机器翻译的开发

本文提出了一种新的多语种多阶段微调方法，融合了领域自适应、多语言和反向翻译，通过利用域外数据的转移学习方法来帮助改善日俄低资源神经机器翻译的质量。

Jul, 2019

使用噪声稳定正则化微调预训练语言模型

本文提出了一种名为 LNSR 的 fine-tuning 框架，通过注入高斯噪声或浸入式噪声，对 fine-tuned 模型的隐藏表示进行规范化，以解决预训练语言模型的过拟合问题，并证明其在 question answering task 方面具有优越性。

Jun, 2022