机器翻译中的文档级语言模型

Oct, 2023

Document-Level Language Models for Machine Translation

Frithjof Petrick, Christian Herold, Pavel Petrushkov, Shahram Khadivi, Hermann Ney

TL;DR本研究针对机器翻译系统在句子级别上操作的限制，提出了利用文档级单语数据构建上下文感知翻译系统的方法，并通过结合现有句子级翻译模型和文档级语言模型，改进了现有方法，并提出了新的权重技术以提高系统组合的灵活性和降低计算开销。通过对四个不同的翻译任务进行全面评估，结果显示我们的改进能够显著提高面向文档的评分，并在计算上更高效。但在大多数情况下，通过再训练翻译系统进行反向翻译可以获得更好的结果。最后，我们探索了基于大语言模型的语言模型融合，在最新的大语言模型进展的基础上取得了一定的潜力。

Abstract

Despite the known limitations, most machine translation systems today still operate on the sentence-level. One reason for this is, that most parallel training data is only sentence-level aligned, without document-level meta information available. In this work, we set out to build conte

machine translation context-aware translation systems document-level language model model combination language model fusion

发现论文，激发创造

机器翻译中逃离句子级范式

本文提出了一种通过解决模型架构、训练数据和评估指标三个问题开展文本背景机器翻译的方案，并在 DE$ ightarrow$EN，EN$ ightarrow$DE，EN$ ightarrow$FR 和 EN$ ightarrow$RU 等语种的大数据实验中表明这三项改进措施能够显著提高文本背景翻译的性能。

Apr, 2023

通过混合指令提升大型语言模型的文档级翻译

提出了一种结合不同长度的句子级和文档级翻译指令来微调大型语言模型（LLM）的方法，以显著增强 LLM 在文档级翻译中的能力，并有效解决文档级翻译中的句子覆盖问题，实验证明该方法在 10 种语言对上显著提高了翻译质量。

Jan, 2024

文档级机器翻译方法比较

本文给出了关于文档级机器翻译的文献综述，对比了各种方法在两个文档级评估套件上的表现，并发现基于单语文档的回译方法在文档级评估和人类评估方面都能达到相同结果，因此不需要设计过于复杂的模型。

Jan, 2021

多语言文档级翻译实现从句子到文档的零 - shot 转移

本文研究了使用多语言模型从有文档的教师语言到只有句子级数据的学生语言的零 - shot 情况下如何将 DocNMT 中的上下文建模转移的问题，首次将文档级翻译视为一种迁移学习问题，并使用基于简单连接的 DocNMT，探索了 3 个因素对转移的影响。实验表明，使用更多的教师语言和适当的数据平衡都有助于提高转移质量。同时多语言 DocNMT 在真实文档对或者反向翻译对数据条件下均可实现较好的性能表现。

Sep, 2021

适应大型语言模型的文档级机器翻译

探索大型语言模型在文档级机器翻译中的适应过程及性能，研究了提示策略及精细调优方法对翻译结果的影响，发现部分专用模型的翻译性能甚至超过 GPT-4，但仍面临着偏离翻译问题的挑战，同时进行了深入分析，包括翻译错误、平行文件的规模关系、领域外泛化和零翻译跨语言转移等，为未来文档级机器翻译方面的研究提供了基础。

Jan, 2024

基于目标端文本级语言模型的上下文感知神经机器翻译解码器

该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型，该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。

Oct, 2020

使用自我训练在句子级神经机器翻译模型中捕获文档上下文

该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

Mar, 2020

神经机器翻译中充分利用上下文的探索

通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。

Feb, 2020

重新思考文档级神经机器翻译

通过合适的训练技术，使用原来的 Transformer 模型可以在涉及长度 2000 个单词的文档级别的翻译中取得比句子级别的模型更好的表现，并且在六种语言的九个文档级别和两个句子级别的数据集上，使用包括 BLEU，四个词法指标，三个新提出的辅助语言指标和人类评估在内的全面指标，证明了文档级别 Transformer 模型的优越性。

Oct, 2020

深入探究上下文感知神经机器翻译

本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

Oct, 2020