文件级别的翻译模型通常使用一般性指标（如 BLEU）进行评估，而这些指标对于上下文的益处并不具有信息量。我们的研究提出了补充基于准确性评估的上下文利用度量的方法，并且通过扰动分析发现这是一种有效的全局上下文利用度量。此外，我们还提出了一种细粒度的现象特定评估方法，用于衡量对处理上下文相关的话语现象的支持上下文的贡献。我们的研究结果表明自动注释的支持上下文与人工注释的上下文给出了类似的结论，并可以作为人工注释不可用的情况下的替代方法。最后，我们强调了在评估上下文利用度时使用话语丰富的数据集的重要性。

Feb, 2024

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

本文提出了一种基于上下文的翻译方法，并探究了历史上下文信息对神经机器翻译性能的影响。实验结果表明，该方法相较于基于注意力机制的神经机器翻译系统，能够显著提高翻译质量 + 2.1 BLEU points。

Apr, 2017

文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

Jun, 2023

本文通过人类实验和模型构建等研究方法，提出了一种适用于大规模句子级平行数据的上下文感知 NMT 模型，通过解决上下文因素引发的翻译不一致问题，取得了 BLEU 上的显著性能提升。

May, 2019

探究在基于注意力的神经机器翻译中使用扩展上下文的效果，通过对电影字幕进行翻译实验，研究增加翻译单元之外的片段对源语言上下文和双语上下文扩展的影响，发现模型可以区分不同片段的信息，并且在一些情况下可以改善译文连贯性。

Aug, 2017

通过研究上下文感知如何改善当前神经机器翻译模型在英日商务对话翻译中的表现，并探索哪种上下文对于提升翻译质量提供有意义的信息，本文使用事先训练的 mBART 模型在多句对话数据上进行微调，研究了更大上下文范围的影响，并提出了编码额外片段信息（如发言人和场景类型）的新型上下文标记，实验结果发现模型利用前几个句子和额外片段的上下文（随着上下文范围的增加，CXMI 也在增加）以及对敬语翻译进行了更专注的分析，而在翻译质量方面，与以往的工作和无上下文的基线比较，增加源语言上下文信息和场景、发言人信息有助于提高模型性能（使用 BLEU 和 COMET 指标进行衡量）。

Nov, 2023

我们引入了一种上下文感知的神经机器翻译模型，该模型可以控制和分析从扩展上下文到翻译模型的信息流，实验证明该模型改进了代词翻译和在指代方面进行了隐含捕获，而且不仅在指代性情况下有所改进，还提高了整体 BLEU 分数。

May, 2018

本文研究了文档级 NMT 模型在四个不同领域中的性能，并发现不同的架构适用于不同的任务，同时发现上下文感知系统在任务特定问题上有改进，而文本级别的指标（如 BLEU）没有显着改进。同时，本文还表明，文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。

Oct, 2020

通过对自动度量、机器翻译聊天等领域进行元评估，我们发现引用自由度量相较于引用依赖度量滞后，尤其在评估英文以外的翻译质量时。我们研究了如何将对话上下文信息融入度量中，并发现将上下文信息与神经学习度量相结合有助于提高自由度量在无参考情景下与人类判断的相关性，以及在评估英文以外的翻译时的性能。最后，我们提出了一种新的评估度量方法 Context-MQM，并验证了添加上下文即使对基于大型语言模型（LLM）的评估度量也是有帮助的。

Mar, 2024