语言模型是优秀的翻译器
基于编码器 - 解码器框架的当代翻译引擎发展迅猛,而大型语言模型的出现破坏了它们的地位,提供了实现更优翻译质量的潜力。因此,了解 LLMs 是如何在何种场景下胜过传统 NMT 系统,以及如何发挥其优势,变得至关重要。本文首先进行了全面分析,评估了各种商业 NMT 系统和面向机器翻译的 LLMs 的优势和局限性。发现 NMT 系统和面向机器翻译的 LLMs 都不能有效解决所有翻译问题,但面向机器翻译的 LLMs 可以作为 NMT 系统的有希望的补充。基于这些发现,我们探索了混合方法,并提出了合作解码(CoDec)将 NMT 系统视为预翻译模型,将面向机器翻译的 LLMs 视为处理 NMT 系统无法覆盖的复杂场景的补充解决方案。在 WMT22 测试集和新收集的 WebCrawl 测试集上的结果表明,CoDec 的有效性和效率,突出了将 NMT 系统与面向机器翻译的 LLMs 相结合作为强大解决方案的潜力。
Nov, 2023
该研究提出一种简单的解决方案,使用单个神经机器翻译模型在多种语言之间进行翻译,并且通过在输入句子的开头引入人工标记来指定所需的目标语言,这种方法不需要更改模型框架,该模型的剩余组件包括编码器、解码器和注意力是不变的,并共享所有语言。我们的方法使用共享的词块词汇表,不需要增加任何参数,在保持模型参数总数恒定的情况下,还经常提高所有涉及的语言对的翻译质量,甚至可以在训练期间从未看到的语言对之间进行隐式桥接,因此,我们的翻译模型不限于训练时的语言对,具有一定的通用性和迁移能力。
Nov, 2016
该研究论文探讨了语言模型和编码器 - 解码器模型在机器翻译中的性能影响,结果表明:语言模型在小规模下的表现差,但随着参数数量的增加,其性能逐渐接近于编码器 - 解码器模型,语言建模和原因屏蔽会对翻译质量产生不利影响,而当与全局可视屏蔽相配合时,语言模型在受监督的双语和多语言翻译任务中能够与编码器 - 解码器模型持平,并且在零翻译方向上表现得更好。
Feb, 2022
大型语言模型在同时机器翻译任务中表现出与某些最先进基准系统相当或更好的性能,并且注入最少的背景信息(容易实现)可以进一步提高性能,尤其是在具有挑战性的技术主题上。这凸显了大型语言模型构建下一代大规模多语言、上下文感知和术语准确的同时翻译系统的潜力,而无需资源密集型的训练或微调。
Jun, 2024
经过小规模数据集上的微调后,预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段,从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数;尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果,为改进未来的同时翻译系统指明了一个有希望的方向。
Feb, 2024
本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量,并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。
Jan, 2023
利用大型语言模型的丰富语言知识和强大的推理能力,我们提出了一种新的生成式翻译范式 ——“GenTranslate”,可以从 N 个候选译文中生成更高质量的翻译结果,并且在各种语音和机器翻译基准测试中明显优于现有模型。
Feb, 2024
本篇论文提出了动态神经机器翻译 (Dynamic NMT) 的方法,通过对测试句子进行微调以适应具体场景,从而显着提高翻译性能。该方法特别适用于高度相似的句子。
Sep, 2016
本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型,通过显式地结合源侧语法树,在两种结构化表示(顺序和树)之间进行学习,提出具有树覆盖模型和双向树编码器的翻译模型,并证实优于其他基线模型。
Jul, 2017
本研究将显式神经间语纳入多语言编码 - 解码神经机器翻译(NMT)体系结构中,证明该模型通过直接零 - shot 翻译(不使用中转翻译)并使用源语句嵌入来创建英语 Yelp 评论分类器,该分类器能够通过神经间语协调法也对法语和德语评论进行分类,并且即使我们使用的参数数量比成对的 NMT 模型集合少,但我们的方法对于 WMT15 中的每个语言对产生了相当的 BLEU 得分。
Apr, 2018