通过研究预训练基于 transformer 的模型在命名实体识别方面的应用，探索了全局文档上下文与局部上下文之间的关系，发现正确检索全局文档上下文对于性能的影响比仅利用局部上下文更明显，并促使进一步研究如何更好地检索该上下文。

May, 2023

本研究提出了一种新型神经模型，将全局节点编码和局部节点编码相结合，以学习更好的上下文节点嵌入，实现了在两个图文转换数据集上明显的改进。

Jan, 2020

ChatGPT 提出了一种交互式对话可视化系统 C5，它包括全局视图、主题视图和上下文相关的问答视图，通过使用 GitLog 图形来表示对话结构，并使用知识图谱的结构来显示问题与答案节点以及它们之间的关系，从而解决了多轮对话场景中用户理解对话和保持上下文连贯的问题。

Aug, 2023

本文介绍了一个基于 Reddit 对话数据集的对话框架，并探讨如何整合局部知识以改善对话质量，研究结果表明，局部知识的整合显著提高了信息性、连贯性和逼真度，且所提出的方法在 Reddit 数据集上表现优于现有方法。同时发现，将模型的参数规模从 117M 扩展到 8.3B 能够显著提高验证困惑度和人工评估指标，使模型在单轮对话设置中生成的响应更加类人。

Oct, 2020

本论文提出了一种将社会背景信息融入大规模语言模型的方法，并在地理敏感的语言建模任务中取得了显著的提升。

Oct, 2021

本文提出了一种将对话级别的语篇信息融入语言模型中的上下文语言模型，该模型在 Switchboard Dialog Act Corpus 上表现出比传统单轮 RNN 语言模型更好的性能。

Jan, 2017

这篇文章提出了一种新颖的主题感知的全局局部中心性（GLC）模型，该模型可以在对话中选择最显著的语境，并能够准确地从子主题中识别关键内容，实验结果表明，该模型在对话摘要数据集上的表现优于强基线。

Jan, 2023

在这项研究中，我们提出了一种新的方法将语料库级别的语篇信息纳入语言模型中，称之为 “大背景语言模型”。我们采用基于长短时记忆单元 (LSTM) 的晚期融合方法，通过对 IMDB、BBC 和 Penn Tree Bank 三个语料库的评估，证明了所提出的模型显著改善了困惑度。通过分析训练的大背景语言模型，我们发现增加上下文句子数量最能使内容单词 (包括名词、形容词和动词) 受益。这表明大背景语言模型通过更好、更简单地捕捉文档的主题，改进了非条件语言模型。

Nov, 2015

本文利用 Transformer 模型及多种技巧，解决常识推理领域中缺乏可控性、训练时缺乏常识知识、推理出假命题等问题。通过引入 “提示” 技术控制推理，使用多个常识知识库进行联合推理，并运用 GAN 框架生成同时可信可控的常识命题。

Feb, 2023

本文中，我们提出了一种新的学习算法，用于增进神经机器翻译模型对附加上下文的理解，通过使用多级成对排名损失函数，我们在基于 transformer 的大语境翻译系统中进行了评估，并通过与实际和随机语境下的性能对比表明，使用所提出的算法训练的模型对额外上下文的理解更敏感。

Mar, 2019