本文介绍了一种适应新领域的神经机器翻译(NMT)系统,并展示了在两种语言对上,适应方法相比于常用方法在自动和人工评估测量标准下的显著性提升,而一般领域性能仅略有下降,适应过程快速且不需要重新训练 NMT 模型。
Dec, 2016
本文提出一种将多语言神经机器翻译模型域自适应的 Fine-tuning 方法,结合 Embeddings 冻结与对抗性损失,能在保持所有语言对的通用领域性能的同时,显著提高处理特定数据领域的性能。
Oct, 2022
本文提出了一种新颖的领域自适应方法 ——“混合微调”,用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合,并在一个混合了内外领域语料库的平行语料库上对 NMT 模型进行微调,然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法,讨论了它的优点和缺点。
Jan, 2017
本文全面调查总结了当前最先进的神经机器翻译领域适应技术,旨在解决场景中特定领域缺乏相应语料库而导致自然语言翻译效果下降的问题。
Jun, 2018
本文研究了在机器翻译领域中适配器的组成方法,旨在实现多领域和多语言(全资源场景)的参数效率适配,或在无法提供特定语言对的平行数据(部分资源场景)中的跨语言转移。适配器通常由语言特定的适配器和领域特定的适配器组成,但这篇论文发现了将两种适配器简单组合的方法往往会造成缺失语言的灾难性遗忘,因此提出了新的适配器组合方式以减轻这一问题,并最大程度地实现跨语言转移。通过此种最佳适配器组合方式,我们实现了在没有场内数据的源语言上平均提高 3-4BLEU,而在没有场内数据的目标语言上与反向翻译相结合也达到了类似的改进。
Oct, 2021
本文提出了一种 APT 框架,在神经机器翻译中利用预训练模型的语言知识,该框架包括两个模块:1)动态融合机制,将从通用知识中适应的任务特定特征融合到 NMT 网络中;2)知识蒸馏范式,在 NMT 训练过程中连续学习语言知识。实验结果表明,我们的模型优于强基线和微调对应模型。
Dec, 2019
本文提出了一种无监督的自适应方法,使用伪域内语料库通过微调预先训练的域外 NMT 模型,借助词典诱导提取域内词汇,并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库,在 20 对自适应设置和两种模型架构的五个领域中,我们的方法始终显示出提高,而不需要使用任何域内平行句子,改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。
Jun, 2019
本文提出在预训练的多语言模型上训练语言家族适配器,以促进跨语言转移。该模型一致优于其他基于适配器的方法,并证明了语言家族适配器提供了一种有效的将语言翻译到预训练期间未见过的语言的方法。
Sep, 2022
本文为多语言语音翻译(ST)提供了适配器的完整分析,其中适配器调整在 NLP 中作为微调的高效替代品,可使 ST 针对特定语言对进行专门优化,并从自动语音识别(ASR)任务和预先训练的 mBART 模型中进行转移,同时节省大量参数,具有与完全微调相当的可比结果。
Jun, 2021
研究神经机器翻译中的自适应集成加权,解决在不牺牲原始域性能的情况下提高新领域性能,通过两个西班牙语 - 英语和三个英语 - 德语任务的逐步适应比较,提出自适应 NMT 集成解码的新方案,采用源信息扩展贝叶斯插值,并在没有域标签的情况下在测试领域中展现了较强的改进。