简单融合:语言模型的回归
我们在相同任务和输入上提出了一个机器翻译模型和 LLM 的即时集成方法。我们在 4 个语言对(两个方向)上进行了实验,并且数据量有所不同。我们发现,稍微差一些的 LLM 可以提高 NMT 模型的翻译质量,并且与 LLM 集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了 LLM 提示的各种技术,如上下文学习和翻译上下文。
Nov, 2023
通过将单语数据与自动背景翻译配对,我们未改变神经网络结构,使用目标语单语训练数据进行神经机器翻译(NMT)模型的训练,并在多项任务上取得最新的最优结果(最高 + 2.8-3.7 BLEU),并证明了使用领域单语和平行数据进行微调,对 IWSLT 15 任务英德翻译有实质性的改善。
Nov, 2015
该研究采用动态融合机制,将翻译模型和语言模型结合,提高了英日机器翻译的 BLEU 和 RIBES 得分,并允许符合适当语法结构的预测性语言建模。
Sep, 2019
本文探讨使用外部语言模型和针对内部隐式语言模型所采用的方法,在神经机器翻译任务中在线性融合语言模型方面的性能表现,发现考虑隐式语言模型可极大提高模型性能,但背向翻译仍然是最有效的方法。
Jun, 2023
本文提出了一种新方法,通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型,以更好地利用单语数据来提高翻译质量,实验结果表明,相对于使用单语数据训练的强基线系统,该方法可以同时提高源到目标和目标到源模型的翻译质量。
Mar, 2018
本研究提出了一种全新的方法,在没有平行数据的情况下,只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术, 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数,且能够利用少量的平行数据来提高翻译质量。
Oct, 2017
提出了一种基于多任务学习的框架,通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型,显著提高了多语言 NMT 系统的翻译质量,并在零样本学习的情况下证明了该方法的有效性。
Oct, 2020
本文提出了一种基于 SMT 的新颖方法,通过跨语言嵌入映射从单语料库中诱导短语表,再将其与 N-gram 语言模型相结合,通过无监督超参数微调的变体来实现迭代反向翻译,并在 WMT 2014 中实现了超过 7-10 BLEU 点的改进,与监督 SMT 相比关闭了 2-5 BLEU 点的差距。
Sep, 2018