针对多编码器模型在不同上下文下对代词翻译的影响，本文通过在三种上下文设置（前两个句子、随机两个句子和两者混合）上训练多编码器模型，并使用上下文感知的代词翻译测试集进行评估，结果表明即使上下文是随机的，模型在 ContraPro 测试集上表现良好。此外，对源表示进行的分析显示上下文编码器提供足够的信息以学习话语层次的信息，同时将所选上下文（在本例中为前两个句子）和随机上下文进行混合通常比其他设置更好。

Aug, 2023

研究多编码器方法在文档级神经机器翻译中的应用，证实上下文编码器不仅编码周围的句子还会产生噪声，探讨引入噪音和严谨的 dropout 方法在多编码器 NMT 中的作用，实验结果证明噪声训练在小数据集中发挥重要作用，并通过使用噪音生成和 dropout 方法，在 IWSLT Fr-En 任务上创立了新的最优效果。

May, 2020

探讨了使用多任务学习和多重编码器方法在文档级神经机器翻译中建模上下文编码的观察，证明了在资源匮乏的情况下，该方法比串联和多重编码器模型表现更好，并对选择上下文敏感。

Jul, 2024

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型，该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。

Oct, 2020

本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

Apr, 2017

该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

Oct, 2018

提出了一种基于 CUE 的框架，通过消除联合训练句外和句内编码器的需求，使得神经语言模型的培训更具模块化并且可扩展，并能在文章的上下文和元数据等多种形式的句外信息中进行训练。

Mar, 2022

研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。

Nov, 2017

本文提出了一种使用层间选择机制来筛选和优化长文档上下文的端到端编码器 - 解码器模型，以改善神经机器翻译的质量。 实验证明，该模型通过软选择机制在四组数据集上明显优于以前的模型。

Jan, 2023