主题驱动神经语言模型
该研究介绍了一种将主题模型与语言模型相结合的方法，扩展了语言理解的范围，通过主题进行了文档级上下文的抽取，并提出了一种可解释的主题表征，将主题语义加入到语言模型中。通过建模每个句子中的话题，保留了句子与文档主题关联，提出了一种既有隐藏话题，同时又有可解释话题的神经组合语言模型。该模型在多项任务中展现了显著提升的能力，包括语言建模、词义消岐、文档分类、检索和文本生成。
Jun, 2020
文本文件通常按多个层次结构化：单个单词由语法相关联，但更大的文本单元由话语结构相关联。本研究提出并实证评估了一组多级递归神经网络语言模型，称为文档上下文语言模型（DCLM），它们在句子内外都融入上下文信息。与基于单词级的递归神经网络语言模型相比，DCLM 模型预测概率略有提高，文档连贯性评估显著提高。
Nov, 2015
一项最近的自然语言处理研究旨在结合语言模型和主题模型，这些主题引导的语言模型通过将主题模型与神经语言模型相结合，采用无监督学习方法来发现文档级别的词汇使用模式。本文比较了这些方法在标准化环境中的效果，并发现这些方法中没有任何一种超越了标准 LSTM 语言模型基准，并且大多数方法无法学习到好的主题。此外，我们训练了一个探测神经语言模型的方法，结果显示基准模型的隐藏状态已经编码了主题信息。本研究公开了所使用的所有代码。
Dec, 2023
通过引入全局上下文，我们提出了一种新的文档级 NMT 框架，用于处理包含任意数量句子的文档，并且可以在标准数据集上优雅地训练，结果表明我们的模型优于 Transformer 基线和之前的文档级 NMT 模型。
Feb, 2020
本文提出了一种名为 ctx-DocNADE 的新颖的神经自回归主题模型，将 TM 和 LM 的两种学习词出现意义的学习范例组合在一起，通过嵌入词静态信息的输入，显著改善了小语料库和短文本中的词 - 主题映射，并在不同领域的 6 个长文本和 8 个短文本数据集上展示出了优越的泛化能力、可解释性和适用性。
Oct, 2018
该研究提出了一种基于自训练的方法，可以在不需要专门的并行文档级语料库和模型的情况下，将已训练好的句子级神经机器翻译模型应用于文档级机器翻译任务，并在三个文档级数据集上进行了评估，结果显示我们的方法在 BLEU 指标上具有更高的得分和更高的人类偏好度。
Mar, 2020
本研究针对机器翻译系统在句子级别上操作的限制，提出了利用文档级单语数据构建上下文感知翻译系统的方法，并通过结合现有句子级翻译模型和文档级语言模型，改进了现有方法，并提出了新的权重技术以提高系统组合的灵活性和降低计算开销。通过对四个不同的翻译任务进行全面评估，结果显示我们的改进能够显著提高面向文档的评分，并在计算上更高效。但在大多数情况下，通过再训练翻译系统进行反向翻译可以获得更好的结果。最后，我们探索了基于大语言模型的语言模型融合，在最新的大语言模型进展的基础上取得了一定的潜力。
Oct, 2023
在这项研究中，我们提出了一种新的方法将语料库级别的语篇信息纳入语言模型中，称之为 “大背景语言模型”。我们采用基于长短时记忆单元 (LSTM) 的晚期融合方法，通过对 IMDB、BBC 和 Penn Tree Bank 三个语料库的评估，证明了所提出的模型显著改善了困惑度。通过分析训练的大背景语言模型，我们发现增加上下文句子数量最能使内容单词 (包括名词、形容词和动词) 受益。这表明大背景语言模型通过更好、更简单地捕捉文档的主题，改进了非条件语言模型。
Nov, 2015
该研究提出了一种简单的方法将基于句子水平的翻译模型转化为基于上下文的模型，该方法使用点互信息来表示上下文信息。这种方法在三种语言对上得到了较好的效果。
Oct, 2020