利用大语言模型提升机器翻译：基于合作解码的初步研究

Nov, 2023

利用大语言模型提升机器翻译：基于合作解码的初步研究

Improving Machine Translation with Large Language Models: A Preliminary Study with Cooperative Decoding

Jiali Zeng, Fandong Meng, Yongjing Yin, Jie Zhou

TL;DR基于编码器 - 解码器框架的当代翻译引擎发展迅猛，而大型语言模型的出现破坏了它们的地位，提供了实现更优翻译质量的潜力。因此，了解 LLMs 是如何在何种场景下胜过传统 NMT 系统，以及如何发挥其优势，变得至关重要。本文首先进行了全面分析，评估了各种商业 NMT 系统和面向机器翻译的 LLMs 的优势和局限性。发现 NMT 系统和面向机器翻译的 LLMs 都不能有效解决所有翻译问题，但面向机器翻译的 LLMs 可以作为 NMT 系统的有希望的补充。基于这些发现，我们探索了混合方法，并提出了合作解码（CoDec）将 NMT 系统视为预翻译模型，将面向机器翻译的 LLMs 视为处理 NMT 系统无法覆盖的复杂场景的补充解决方案。在 WMT22 测试集和新收集的 WebCrawl 测试集上的结果表明，CoDec 的有效性和效率，突出了将 NMT 系统与面向机器翻译的 LLMs 相结合作为强大解决方案的潜力。

Abstract

Contemporary translation engines built upon the encoder-decoder framework have reached a high level of development, while the emergence of Large Language Models (LLMs) has disrupted their position by offering the potential for achieving superior translation quality. Therefore, it is cr

translation engines large language models nmt systems mt-oriented llms cooperative decoding

发现论文，激发创造

语言模型是优秀的翻译器

该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

Jun, 2021

基于大型语言模型的机器翻译的有效消歧

通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

Sep, 2023

GenTranslate：大型语言模型是生成式跨语音和机器翻译器

利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

Feb, 2024

机器翻译的范式转变：提升大型语言模型的翻译性能

通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

Sep, 2023

大型语言模型中的性别特定机器翻译

使用解码器 - only 大型语言模型（LLMs）进行性别特定翻译研究，发现通过提示可以控制输出属性，LLMs 比传统编码器 - 解码器神经机器翻译系统（NMT）提供独特优势，能够生成性别特定的翻译且具有竞争性准确性和性别偏见缓解，同时揭示了 LLMs 在性别模糊数据集中表现出明显性能下降但在上下文较少歧义的情况下保持一致的鲁棒性，并突出了上下文学习对于在 LLMs 中引发新任务的重要性。

Sep, 2023

大语言模型的同时机器翻译

利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

Sep, 2023

探讨语言模型架构的扩展与迁移在机器翻译中的应用

该研究论文探讨了语言模型和编码器 - 解码器模型在机器翻译中的性能影响，结果表明：语言模型在小规模下的表现差，但随着参数数量的增加，其性能逐渐接近于编码器 - 解码器模型，语言建模和原因屏蔽会对翻译质量产生不利影响，而当与全局可视屏蔽相配合时，语言模型在受监督的双语和多语言翻译任务中能够与编码器 - 解码器模型持平，并且在零翻译方向上表现得更好。

Feb, 2022

大语言模型的多语言机器翻译：实证结果和分析

本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

Apr, 2023

增强大型语言模型的翻译能力的新范式

本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

Mar, 2024

使用大型语言模型的自适应机器翻译

本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量，并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。

Jan, 2023