神经机器翻译的合成预训练任务

Dec, 2022

Synthetic Pre-Training Tasks for Neural Machine Translation

Zexue He, Graeme Blackwood, Rameswar Panda, Julian McAuley, Rogerio Feris

TL;DR本研究旨在探讨何种情况下用合成资源进行预训练是有效的。我们将神经机器翻译作为情景背景，研究使用两种新方法进行翻译模型预训练的影响，并在多种语言对上进行实证评估，结果表明预训练的好处即使在混淆或纯合成数据的情况下也可以实现，并研究混淆和合成预训练技术能够减轻虚假模型毒性的程度。

Abstract

pre-training is an effective technique for ensuring robust performance on a variety of machine learning tasks. It typically depends on large-scale crawled corpora that can result in toxic or biased models. Such data can also be problematic with respect to copyright, attribution, and pr

pre-training synthetic tasks neural machine translation obfuscated data synthetic parallel data

发现论文，激发创造

利用合成目标进行机器翻译

使用大型预训练模型生成合成目标数据可以提高限定资源环境下机器翻译模型的性能，这种方法可以优于在实际数据上训练模型，效果更好的原因可以归因于模型参数的数量限制和优化效果的提高。

May, 2023

仅使用合成的平行数据构建神经机器翻译系统

本文探讨了使用合成的并行数据在神经机器翻译中的作用，提出了一种新型的伪并行语料库，在捷克 - 德语和法语 - 德语翻译方面进行了实验证明其有效性。

Apr, 2017

建立预训练语言模型的方法：无数据？别担心，采用翻译语言

通过使用机器翻译创建合成数据（Translationese）预训练语言模型（LMs），本研究探讨了将 Translationese 作为一种用于预训练语言模型的可用性。我们以英语和印度语为例，将网络抓取的单语文档翻译成目标语言，然后在这些合成数据（synthetic）上用含有 2800 万和 8500 万参数的语言模型进行训练。实验证明，在下游自然语言理解和生成任务中，与基于干净数据进行预训练的语言模型相比，我们的模型性能仅差 3.56％（自然语言理解任务）和 1.51％（自然语言生成任务）。此外，我们提出了使用基于干净数据进行预训练的轻量级 TinyLMs 有效过滤合成数据的方法，从而显著提高模型性能。我们还发现，在一个微小比例（10％）的干净数据上进行扩展预训练能显著改善预训练合成数据的语言模型。我们通过这项工作收集和创建的数据集 IndicMonoDoc 是最大的单语文档级语料库，希望能够弥补英语和非英语大型语言模型性能差距。

Mar, 2024

非流利的合成目标语言数据提高神经机器翻译

从有限的平行语料中生成合成训练样本，即非流利目标端句子能够在多语种机器翻译框架中有效地提高翻译性能，并且这种方法对原始训练语料的规模不敏感，从而使系统更鲁棒、产生更少的幻觉。

Jan, 2024

通过持续预训练和字典学习分析改进使用翻译数据训练的语言模型

利用机器翻译从英语训练 LLMs 在低资源语言中通常会带来翻译的挑战，然而我们研究了机器翻译和合成数据在训练语言模型中的作用，并通过案例研究展示了改进的效果。

May, 2024

使用合成和真实数据进行的交替训练，用于神经机器翻译

通过交替使用合成和真实语料库，提出一种神经机器翻译的备选训练方法，实验结果表明，在汉英翻译和德英翻译任务中，该方法在几种强基线模型上都表现出更好的性能，真实数据有助于将 NMT 模型参数导向具有较高 BLEU 分数的点并提高一致性的翻译表现。

Jun, 2021

通过合成噪声训练，提高机器翻译的抗自然噪声鲁棒性

本文提出通过引入随机合成的少量噪音来改善机器翻译中源文本字符级别波动的鲁棒性，从而提高对拼写错误等变异的覆盖率。作者表明，通过在训练时使用一些较为简单的合成噪音，可以实现对常见噪音（例如 Wikipedia 编辑日志中的修正）的鲁棒性，同时不会降低在规范文本上的表现。

Feb, 2019

语言的黑暗面：预训练变形器在 DarkNet 中的应用

通过对 DarkNet 语料库上的分类任务探索，研究比较了不同预训练自然语言理解模型的表现，结果发现句法和词汇神经网络在适应新颖语义时优于预训练 Transformer 模型。

Jan, 2022

合成翻译是否能提高双语文本质量？

本文探讨合成翻译如何用于修订挖掘的双语对齐中的潜在不完美的参考翻译，利用语义等价分类器替换原始数据集的方式无需额外的双语监督即可提高双语对齐的质量，改进被修订的双语对齐在人类评估和双语感知和机器翻译任务中均得到了内在和外在的证实。

Mar, 2022

利用合成预训练构建稳健的神经检索模型

研究表明，机器阅读理解数据集可以用于训练高性能的神经信息检索系统，利用序列到序列生成器生成的合成样本的预训练可以提高神经信息检索系统的鲁棒性和检索表现。

Apr, 2021