文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。
Jun, 2023
本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。
Mar, 2019
我们引入了一种上下文感知的神经机器翻译模型，该模型可以控制和分析从扩展上下文到翻译模型的信息流，实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获，而且不仅在指代性情况下有所改进，还提高了整体 BLEU 分数。
May, 2018
本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。
Apr, 2017
提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。
本文提出了一种神经机器翻译架构，该架构不仅针对源语句进行建模，还考虑到上下文信息，这种方法尤其适用于小型语料库的翻译任务，不仅改进了常规翻译质量，还提出了适用于代词预测的基于注意力的神经机器翻译方法，与其他针对该任务进行设计的方法相比具有更好的表现。
通过研究上下文感知如何改善当前神经机器翻译模型在英日商务对话翻译中的表现，并探索哪种上下文对于提升翻译质量提供有意义的信息，本文使用事先训练的 mBART 模型在多句对话数据上进行微调，研究了更大上下文范围的影响，并提出了编码额外片段信息（如发言人和场景类型）的新型上下文标记，实验结果发现模型利用前几个句子和额外片段的上下文（随着上下文范围的增加，CXMI 也在增加）以及对敬语翻译进行了更专注的分析，而在翻译质量方面，与以往的工作和无上下文的基线比较，增加源语言上下文信息和场景、发言人信息有助于提高模型性能（使用 BLEU 和 COMET 指标进行衡量）。
Nov, 2023
将影片元数据等额外文本上下文引入机器翻译（MT）流程可以提高翻译质量，通过最近的自动评估可得知，但这类系统在工业领域的积极影响尚未得到证实。我们报告了一项工业案例研究，旨在调查 MT 在专业电视字幕翻译场景中的受益和如何利用额外文本上下文影响后期编辑。我们发现，在修正具有上下文感知模型 MTCue 输出时，与非上下文模型相比，后期编辑人员标记了更少与上下文相关的错误。我们还介绍了一项针对从业后期编辑人员的调查结果，该调查强调了 MT 中持续存在的上下文不足问题。我们的发现加强了在完全上下文化的 MT 领域开展进一步工作的动力。
Jun, 2024
本文介绍了一种新的度量模型使用上下文的方法，并提出了一种新的训练方法来增加上下文感知模型的使用率。实验证明，这种方法可以提高翻译质量和语义连贯性。
May, 2021
研究了利用上下文进行神经机器翻译的模型，并提出了一种多编码器并解码两个句子以实现上下文输出的方法，该方法在指代和连贯性方面表现最佳。
Nov, 2017