本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019

在这项研究中，我们提出了一种新的方法将语料库级别的语篇信息纳入语言模型中，称之为 “大背景语言模型”。我们采用基于长短时记忆单元 (LSTM) 的晚期融合方法，通过对 IMDB、BBC 和 Penn Tree Bank 三个语料库的评估，证明了所提出的模型显著改善了困惑度。通过分析训练的大背景语言模型，我们发现增加上下文句子数量最能使内容单词 (包括名词、形容词和动词) 受益。这表明大背景语言模型通过更好、更简单地捕捉文档的主题，改进了非条件语言模型。

Nov, 2015

文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

Jun, 2023

本文提出了一种神经机器翻译架构，该架构不仅针对源语句进行建模，还考虑到上下文信息，这种方法尤其适用于小型语料库的翻译任务，不仅改进了常规翻译质量，还提出了适用于代词预测的基于注意力的神经机器翻译方法，与其他针对该任务进行设计的方法相比具有更好的表现。

Apr, 2017

提出了一种新的句子分类方法 Context-LSTM-CNN，利用了与被分类句子相邻的句子形成的上下文和 LSTM 处理被分类句子的远距离依赖关系以及使用了基于 CNN 的短跨度特征。该方法在两个不同的数据集上始终优于以前的方法。

Aug, 2018

研究了文档级上下文在 NMT 中的改善机制，发现大多数的改进不能被解释为利用上下文，并说明了上下文建模的最小编码是足够的，而非常长的上下文对 NMT 不利。

Oct, 2019

本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

Oct, 2020

本论文研究了在大规模无监督文本语料库上预训练的语言模型，结合信息检索系统以纯无监督方式来增强预训练语言模型，并成功提高了其零样本缺失式问答系统的性能，尤其通过使用不同的分隔符处理查询和上下文，让 BERT 能够更好的判断是否匹配上下文从而增加准确性和鲁棒性。

May, 2020

探究在科学论文中预测引用价值的句子时，上下文作用的重要性，利用双向 LSTM 模型解决了该问题，并提出了一个新的基准数据集以及文档级别的训练 / 测试分配，通过误差分析揭示了上下文在预测引用价值方面的重要作用。

Apr, 2021

通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。

Feb, 2020