针对多编码器模型在不同上下文下对代词翻译的影响，本文通过在三种上下文设置（前两个句子、随机两个句子和两者混合）上训练多编码器模型，并使用上下文感知的代词翻译测试集进行评估，结果表明即使上下文是随机的，模型在 ContraPro 测试集上表现良好。此外，对源表示进行的分析显示上下文编码器提供足够的信息以学习话语层次的信息，同时将所选上下文（在本例中为前两个句子）和随机上下文进行混合通常比其他设置更好。

Aug, 2023

本文介绍了多编码器模型在训练语境参数时的困难，并提出了预训练上下文参数的四种不同拆分方法，进而增加上下文训练信号，并缩短上下文片段，从而提高了上下文参数的学习效果。在 BLEU 和对比测试集的评估下，结果表明本方法在低资源和高资源设置下都能有效地提高学习效果。

Mar, 2021

本文研究使用多编码器和两个注意力机制以读取当前和先前句子以融入上下文的神经机器翻译（NMT）的文档级上下文问题，提出了一种权重共享方法，并得出结论，当在 NMT 中作为解码器状态插入目标端上下文时，目标端上下文也是有用的。

Sep, 2019

研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。

Nov, 2017

本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

Apr, 2017

本文探讨了 NMT 编码器和解码器通过评估隐藏状态和研究自我关注的分布来消歧义词义的能力。通过训练分类器并研究注意权重和注重熵，发现编码器的隐藏状态显著优于单词嵌入，并且自我关注能够检测到模糊不清的名词并将更多注意力分配给上下文。

Aug, 2019

Multi-channel Encoder is proposed to improve Attention-based Encoder-Decoder architecture for neural machine translation by enhancing encoding components with different levels of composition, achieving a 6.52 BLEU point improvement on Chinese-English translation and BLEU=38.8 on the WMT14 English-French task.

Dec, 2017

本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

Oct, 2022

本文提出了一种使用层间选择机制来筛选和优化长文档上下文的端到端编码器 - 解码器模型，以改善神经机器翻译的质量。 实验证明，该模型通过软选择机制在四组数据集上明显优于以前的模型。

Jan, 2023

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019