神经机器翻译的迭代双域自适应
通过对多个领域进行翻译的唯一神经网络在运行时进行的域控制技术,生成的神经机器翻译模型不需要针对每个领域重新估算模型参数,为真实使用场景提供了一种有效的方法,且无论是针对任何一个领域还是针对未知域的数据翻译,本文所提出的新技术都显示了质量的提高。
Dec, 2016
本文介绍了一种适应新领域的神经机器翻译(NMT)系统,并展示了在两种语言对上,适应方法相比于常用方法在自动和人工评估测量标准下的显著性提升,而一般领域性能仅略有下降,适应过程快速且不需要重新训练NMT模型。
Dec, 2016
本文提出了一种新颖的领域自适应方法——“混合微调”,用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合,并在一个混合了内外领域语料库的平行语料库上对NMT模型进行微调,然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法,讨论了它的优点和缺点。
Jan, 2017
本文提出了一种神经机器翻译方法,通过将文本领域视为不同的语言并使用多语言NMT方法创建多领域翻译系统,从而实现在单个模型中支持多个领域,我们的方法在翻译质量上有显著提高。同时探究了预先指定文本领域的必要性,发现预先指定领域是必须的,但即使未知也可以达到相当高的翻译质量。
May, 2018
本文提出了一种无监督的自适应方法,使用伪域内语料库通过微调预先训练的域外NMT模型,借助词典诱导提取域内词汇,并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库,在20对自适应设置和两种模型架构的五个领域中,我们的方法始终显示出提高,而不需要使用任何域内平行句子,改进了未经过调整的模型高达14 BLEU和强反向翻译基线的最高2 BLEU。
Jun, 2019
本篇论文提出了使用独立词向量模块和基于词级别注意力机制的领域混合方法来实现多领域神经机器翻译的知识共享和精细化领域特定知识获取,实验结果表明该模型在多项 NMT 任务中表现优秀。
Nov, 2019
本研究探讨了领域自适应设置下,使用序列级别知识蒸馏训练小型、内存高效的机器翻译模型的最佳实践。该研究的大规模实证结果在机器翻译领域中(使用三个语种对三个领域进行测试)表明,最佳性能需要两次平衡知识蒸馏,一次使用通用数据,另一次使用具体领域的数据并调整教师。
Mar, 2020
该研究介绍了一种基于神经机器翻译的重要性修剪方法,通过知识蒸馏和参数细调,解决了域自适应中的遗忘、差异和模型爆炸等问题,从而达到了在通用域和特定域翻译中都取得显著提高的目的。
Mar, 2021
本文讨论了如何在多领域和多语言神经机器翻译 (MDML-NMT) 中跨语言传输领域信息,以提高零样本翻译性能和帮助域缺失的多领域 NMT 的泛化。通过组合多语言和多领域 NMT 及添加编码器目标语言标签等有效策略,实现了学习到有针对性的表示和提高性能的目的。
Oct, 2022