基于目标端文本级语言模型的上下文感知神经机器翻译解码器

Oct, 2020

基于目标端文本级语言模型的上下文感知神经机器翻译解码器

Context-aware Decoder for Neural Machine Translation using a Target-side Document-Level Language Model

Amane Sugiyama, Naoki Yoshinaga

TL;DR该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型，该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。

Abstract

Although many context-aware neural machine translation models have been proposed to incorporate contexts in translation, most of those models are trained end-to-end on parallel documents aligned in sentence-level. Because only a few domains (and language pairs) have such document-level

context-aware translation neural machine translation language model parallel corpora point-wise mutual information

发现论文，激发创造

深入探究上下文感知神经机器翻译

本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

Oct, 2020

带有记忆网络的文本上下文神经机器翻译

通过内存网络以及结构化预测方式解决文档级机器翻译问题。在训练过程中囊括源文件和目标文件，通过分别采用两个记忆组件来处理相应上下文，同时提出一种基于块协调下降的迭代解码算法。在法语、德语和爱沙尼亚语文件中进行英语翻译的实验结果表明，该模型在利用上下文方面有效，在 BLEU 和 METEOR 方面的表现均显著优于先前的方法。

Nov, 2017

上下文感知神经机器翻译中的挑战

这篇论文探讨了上下文感知神经机器翻译的挑战与方法，并提出了一种更逼近真实情境的段落级翻译任务 para2para，同时提供了新的中英小说数据集以促进未来研究。

May, 2023

机器翻译中的文档级语言模型

本研究针对机器翻译系统在句子级别上操作的限制，提出了利用文档级单语数据构建上下文感知翻译系统的方法，并通过结合现有句子级翻译模型和文档级语言模型，改进了现有方法，并提出了新的权重技术以提高系统组合的灵活性和降低计算开销。通过对四个不同的翻译任务进行全面评估，结果显示我们的改进能够显著提高面向文档的评分，并在计算上更高效。但在大多数情况下，通过再训练翻译系统进行反向翻译可以获得更好的结果。最后，我们探索了基于大语言模型的语言模型融合，在最新的大语言模型进展的基础上取得了一定的潜力。

Oct, 2023

使用自我训练在句子级神经机器翻译模型中捕获文档上下文

该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。

Mar, 2020

利用目标端上下文来提高上下文感知的神经机器翻译

本文研究使用多编码器和两个注意力机制以读取当前和先前句子以融入上下文的神经机器翻译（NMT）的文档级上下文问题，提出了一种权重共享方法，并得出结论，当在 NMT 中作为解码器状态插入目标端上下文时，目标端上下文也是有用的。

Sep, 2019

面向上下文的神经机器翻译学习

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

使用文档级上下文来改进 Transformer 翻译模型

该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

Oct, 2018

论文档级神经机器翻译的搜索策略

本文研究如何利用上下文感知的翻译模型在解码时最佳应用。通过对比使用标准自动指标和三个标准的文档级翻译基准测试上的特定语言现象，我们发现大多数常用的解码策略表现相似，并且更高质量的上下文信息有潜力进一步改善翻译效果。

Jun, 2023

机器翻译中逃离句子级范式

本文提出了一种通过解决模型架构、训练数据和评估指标三个问题开展文本背景机器翻译的方案，并在 DE$ ightarrow$EN，EN$ ightarrow$DE，EN$ ightarrow$FR 和 EN$ ightarrow$RU 等语种的大数据实验中表明这三项改进措施能够显著提高文本背景翻译的性能。

Apr, 2023