重新思考文档级神经机器翻译
本文介绍了微软译者参加 WMT19 新闻翻译的论文，重点关注基于深度转换模型的文档级神经机器翻译。研究团队通过数据过滤和噪声反向转换等方式构建大规模数据集，并探索了微调技术，更深层次的模型以及不同的集成策略，最终实现了对最大长度为 1000 个子词节选的文档级机器翻译。在人工评估中，研究人员发现文档级翻译系统的性能优于基于句子的翻译系统和人类参考翻译。
Jul, 2019
该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。
Oct, 2018
介绍了一种新的循环记忆单元来加强 Transformer 框架下文档级机器翻译的一致性，提出了一种两阶段的训练策略，实现了在三个流行数据集上的优异表现，并在 TED 和 News 数据集上实现了比过去最好结果更好的结果。
May, 2022
本文提出了一种通过解决模型架构、训练数据和评估指标三个问题开展文本背景机器翻译的方案，并在 DE$ ightarrow$EN，EN$ ightarrow$DE，EN$ ightarrow$FR 和 EN$ ightarrow$RU 等语种的大数据实验中表明这三项改进措施能够显著提高文本背景翻译的性能。
Apr, 2023
本研究针对机器翻译系统在句子级别上操作的限制，提出了利用文档级单语数据构建上下文感知翻译系统的方法，并通过结合现有句子级翻译模型和文档级语言模型，改进了现有方法，并提出了新的权重技术以提高系统组合的灵活性和降低计算开销。通过对四个不同的翻译任务进行全面评估，结果显示我们的改进能够显著提高面向文档的评分，并在计算上更高效。但在大多数情况下，通过再训练翻译系统进行反向翻译可以获得更好的结果。最后，我们探索了基于大语言模型的语言模型融合，在最新的大语言模型进展的基础上取得了一定的潜力。
Oct, 2023
通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。
Feb, 2020
该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。
Mar, 2020
本文给出了关于文档级机器翻译的文献综述，对比了各种方法在两个文档级评估套件上的表现，并发现基于单语文档的回译方法在文档级评估和人类评估方面都能达到相同结果，因此不需要设计过于复杂的模型。
Jan, 2021
提出了一种结合不同长度的句子级和文档级翻译指令来微调大型语言模型（LLM）的方法，以显著增强 LLM 在文档级翻译中的能力，并有效解决文档级翻译中的句子覆盖问题，实验证明该方法在 10 种语言对上显著提高了翻译质量。
Jan, 2024