数据自适应迁移学习用于翻译：海地和牙买加的案例研究

Sep, 2022

数据自适应迁移学习用于翻译：海地和牙买加的案例研究

Data-adaptive Transfer Learning for Translation: A Case Study in Haitian and Jamaican

Nathaniel R. Robinson, Cameron J. Hogan, Nancy Fulda, David R. Mortensen

TL;DR研究表明，对于低资源机器翻译，多语言转移技术的有效性与训练数据量以及知识共享语言之间的关系有关，当某些语言超过真实数据的阈值时，回译增强方法会适得其反，而跨语言转移则更合适。同时，该研究提出了一种基于规则的法语 - 海地克里奥尔语正字和句法引擎和一种新型的音韵嵌入方法，这些方法使得正字转换在多语言技术中相对于传统方法显著提高效果。在极低资源的牙买加机器翻译中，通过与一种具有正字相似度的转移语言进行代码交换，可以获得 6.63 BLEU 点的优势。

Abstract

multilingual transfer techniques often improve low-resource machine translation (MT). Many of these techniques are applied without considering data characteristics. We show in the context of haitian-to-english translati

multilingual transfer techniques low-resource machine translation haitian-to-english translation back-translation augmentation methods conventional methods

发现论文，激发创造

提高英语到提格里尼亚语翻译质量的数据增强技术探索

本文主要研究神经机器翻译在低资源条件下的表现，提出通过对目标语句子进行回译生成人工数据的方法，并以提取 Tigrinya 语言为案例，研究了多种回译方法，最终发现及时利用中间语言进行回译是在低资源条件下提高性能的最有效方法。

Mar, 2021

从多个来源选择回译数据以改进神经机器翻译

本文提出了使用不同的机器翻译方法进行回译来生成合成训练语料，并使用数据选择策略来优化其性能，进而提高低资源语言的机器翻译质量。结果表明，这种方法可以有效地提升机器翻译的性能。

May, 2020

是否翻译：对基于翻译的跨语言转移到低资源语言的系统调查

用机器翻译和多语言模型来进行跨语言转移，尤其是对低资源语言进行翻译的方法比零样本跨语言转移方法要有效。通过在源语言训练数据上进行往返翻译并在目标语言测试实例上进行翻译的方法最有效。同时，通过将其他高资源语言的可靠翻译添加到训练数据中，还可以获得更多实证方面的收益。研究还提出了一种针对不受机器翻译系统支持的语言的有效的基于翻译的跨语言转移策略。最后，通过使用目标语言校验数据来进行模型选择，比使用源语言数据进行模型选择要更好。我们希望我们的研究结果能够促进在跨语言转移研究中采用更可靠的基于翻译的基准线方法。

Nov, 2023

通过持续预训练和字典学习分析改进使用翻译数据训练的语言模型

利用机器翻译从英语训练 LLMs 在低资源语言中通常会带来翻译的挑战，然而我们研究了机器翻译和合成数据在训练语言模型中的作用，并通过案例研究展示了改进的效果。

May, 2024

低资源机器翻译中的语法差异处理

本文提出一种简单但有效的方法，即将目标语句重新排序以匹配源语序，并将其作为另外一种训练时的监督信号，从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。

Aug, 2019

多语言迁移学习改进原住民语言的神经机器翻译

本篇研究尝试使用预训练的机器翻译模型进行从西班牙语到南美 10 种土著语言的翻译，相对于之前方法使用数据增强的手段，该方法在多种语言上取得了更好的效果。

May, 2022

低资源翻译的广义数据增强

本论文提出了一种在低资源机器翻译中进行数据增强的通用框架，该框架不仅使用目标端单语数据，还通过相关高资源语言进行桥接，通过在两个步骤中使用词典和修改无监督机器翻译框架，将高资源数据转换为低资源语言，实验证明该方法在极低的资源条件下，与受监督背景转换基线相比，可将翻译质量提高 1.5 到 8 个 BLEU 点。

Jun, 2019

跨语言转移还是机器翻译？关于单语义文本相似性的数据增强

通过比较两种数据技术（跨语言转移和机器翻译），研究发现，使用英文数据训练的跨语言转移和使用英文数据转换为伪非英文训练数据的机器翻译在日语和韩语的单语 STS 上表现相当。此外，研究还发现 Wikipedia 领域在这些语言上优于 NLI 领域，并结合这些发现实验表明，跨语言转移 Wikipedia 数据能够提高单语 STS 的性能。

Mar, 2024

规模理解后向翻译

使用单语数据生成目标语反向翻译的有效方法能够提高神经机器翻译质量。本研究比较了几种方法生成合成源句子的效果，发现使用采样或噪声束搜索的反向翻译方法效果最好，并证实这种合成数据的训练信号强于束搜索或贪婪搜索的数据，同时也比较了它们与真实的平行语料库的效果，并研究了不同领域对它们的影响。最终，将这种方法扩展到数亿条单语数据，获得了 35 BLEU 的 WMT'14 英德测试集上的最新记录。

Aug, 2018

神经机器翻译中的单语数据使用：一项系统研究

本文对神经机器翻译的数据生成进行了系统研究，比较了不同的单语数据使用方法和多个数据生成过程，并介绍了一些便宜易实现的新数据模拟技术。研究发现，通过回译技术生成人工平行数据非常有效，并给出了原因解释。

Mar, 2019