本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

Nov, 2019

本文提出了深度神经网络结合领域知识来加强人类对话模型的方法，通过特定设计的回想门模型，将领域知识转化为 LSTM 的额外全局记忆来协作捕捉对话句子之间的语义相关性。同时，我们还介绍了一种松散结构的领域知识库来辅助我们的方法，实验结果表明这种方法在选择定向回应任务上表现良好，非常适合用于训练自动聊天系统。

May, 2016

本文提出了一种将对话级别的语篇信息融入语言模型中的上下文语言模型，该模型在 Switchboard Dialog Act Corpus 上表现出比传统单轮 RNN 语言模型更好的性能。

Jan, 2017

在这项研究中，我们提出了一种新的方法将语料库级别的语篇信息纳入语言模型中，称之为 “大背景语言模型”。我们采用基于长短时记忆单元 (LSTM) 的晚期融合方法，通过对 IMDB、BBC 和 Penn Tree Bank 三个语料库的评估，证明了所提出的模型显著改善了困惑度。通过分析训练的大背景语言模型，我们发现增加上下文句子数量最能使内容单词 (包括名词、形容词和动词) 受益。这表明大背景语言模型通过更好、更简单地捕捉文档的主题，改进了非条件语言模型。

Nov, 2015

本文提出了一种基于角色的情境模型，通过考虑多轮对话中不同的发言者角色独立地使用其不同的语言模式，成功学习了角色特定的行为模式，并在语言理解和对话策略学习任务上显著提高了性能。

Sep, 2017

本文介绍了 CLSTM 模型，该模型将上下文特征（如主题）纳入模型中，在两个语料库上的实验结果表明，使用单词和主题作为特征可以提高模型在 NLP 任务中的性能，并在问题回答、句子完成、释义生成和对话系统中的下一句预测等 NL 应用程序中发挥重要作用。

Feb, 2016

该研究旨在解决聊天机器人系统中当需要考虑自然语言上下文的情况及使用长短时记忆网络学习分类器的问题，并取得了显著的分类准确性提升。

Nov, 2016

本文介绍了一种新的方法，使用图形结构双向 LSTM 对社交媒体上的串行讨论进行建模，该方法代表了分层和时间会话结构。在 Reddit 讨论的评论受欢迎程度预测任务中，实验表明，所提出的模型比节点独立架构在不同的输入特征集上表现更好。分析表明，该模型在整个讨论过程中都具有优势，可以提高早期和晚期的检测效果。此外，使用带有双向树状状态更新的语言提示有助于识别具有争议性的评论。

Apr, 2017

本文介绍了长短时记忆网络的互相门机制，以实现更好地建模自然语言处理中上下文之间的交互， 并通过实验在多个数据集上证明了其在语言建模上较传统模型具有更好的泛化能力和性能表现。

Sep, 2019

该论文提出了一种用于端到端学习任务导向型对话系统的模型，主要组成部分是一种递归神经网络 (LSTM)，该网络将原始对话直接映射到系统动作的概率分布中，并且可以使用有目的、强化两种不同方式的优化方法。

Jun, 2016