该研究提出了一种名为 CA-RNN 的上下文感知循环神经网络模型，用于建模用户的行为模式，其采用自适应的上下文特定输入矩阵和上下文特定转移矩阵来捕捉事件发生时的外部环境和历史时序之间的转换，实验证明该模型在 Taobao 数据集和 Movielens-1M 数据集上比现有的序列推荐和上下文感知推荐方法都有明显改进。

Sep, 2016

本文提出自适应区域嵌入 (Adaptive Region Embedding) 算法，通过学习上下文表示来改善文本分类性能，实现了优异的结果且避免了词义的不确定性。

May, 2019

研究了低资源语言模型预训练，当可用的句子少于 100,000 条时。在低资源情况下，统计 n-gram 语言模型优于最先进的神经模型，主要是因为前者专注于局部上下文。因此，引入了三种方法来提高神经模型在低资源环境下的性能，发现限制模型的自我注意力是最有效的方法，在英语、印地语和土耳其语等多种语言的下游任务中，NLI 和 POS 标记的准确性提高了高达 5%。

May, 2022

本研究通过切片研究分析，探讨了神经语言模型如何利用其先前的语境。结果显示，模型能有效地利用大约 200 个标记的语境，但对远古语境的词序并不敏感，而是将其建模为一个粗糙的语义领域或主题，同时这项研究还为基于缓存的模型的最近的成功提供了启示。

May, 2018

本文提出了一种将对话级别的语篇信息融入语言模型中的上下文语言模型，该模型在 Switchboard Dialog Act Corpus 上表现出比传统单轮 RNN 语言模型更好的性能。

Jan, 2017

本文介绍了一种上下文集成循环神经网络 (Context Integrated RNN， CiRNN) 模型，用于处理含有传感器数据和上下文信息的数据，在引擎健康预测领域的实验中表现出比现有模型 39% 和 87% 的示范性改进，特别是在使用非对称分数函数作为测量指标时。

Jan, 2023

本文研究了利用连续的语义表征通过递归神经网络生成特定情境下的自然语言的方法，提出了两种新方法，其中包含了注意力机制以解决因长序列引起的长程依赖问题，并在用户评论数据上进行了实验，展示了该方法生成的虚假评论非常自然，并且大部分能够躲过现有的虚假评论检测算法。

Nov, 2016

在这项研究中，我们提出了一种新的方法将语料库级别的语篇信息纳入语言模型中，称之为 “大背景语言模型”。我们采用基于长短时记忆单元 (LSTM) 的晚期融合方法，通过对 IMDB、BBC 和 Penn Tree Bank 三个语料库的评估，证明了所提出的模型显著改善了困惑度。通过分析训练的大背景语言模型，我们发现增加上下文句子数量最能使内容单词 (包括名词、形容词和动词) 受益。这表明大背景语言模型通过更好、更简单地捕捉文档的主题，改进了非条件语言模型。

Nov, 2015

我们提出了一种新的上下文递归神经网络，可以在输入和输出层中考虑相关信息，将上下文嵌入与项目嵌入相结合，并在模型动态性中将隐藏单元转换参数化为上下文信息的函数，从而在下一事件预测任务上显示出良好的提高效果。

Jun, 2017

提出了一种新的句子分类方法 Context-LSTM-CNN，利用了与被分类句子相邻的句子形成的上下文和 LSTM 处理被分类句子的远距离依赖关系以及使用了基于 CNN 的短跨度特征。该方法在两个不同的数据集上始终优于以前的方法。

Aug, 2018