本文提出了一种名为 ctx-DocNADE 的新颖的神经自回归主题模型，将 TM 和 LM 的两种学习词出现意义的学习范例组合在一起，通过嵌入词静态信息的输入，显著改善了小语料库和短文本中的词 - 主题映射，并在不同领域的 6 个长文本和 8 个短文本数据集上展示出了优越的泛化能力、可解释性和适用性。

Oct, 2018

本文提出了基于 TopicRNN 的语言模型，它结合了 RNN 和潜在主题模型的优点，能够捕捉本地（句法）和全局（语义）依赖关系，并更好地预测单词。实证结果表明，TopicRNN 在单词预测方面优于现有的上下文 RNN 基线，并且可以作为无监督特征提取器用于情感分析。

Nov, 2016

提出了一种名为 TAN-NTM 的框架，该框架使用一种新颖的注意力机制，即关注主题相关线索的单词，将文档作为一个标记序列进行处理。该模型发现，利用主题 - 单词分布来学习更好的特征已经没有得到很好的利用，尝试提出一种提高这种探讨的框架。在 20Newsgroups、Yelp Review Polarity 和 AGNews 等基准数据集上，相对于现有 SOTA 主题模型的 NPMI 一致性得分，我们进行了大量的削减和实验，结果证明我们的方法可以获得～9-15％的改善。此外，我们还证明了与现有一些主题模型相比，我们的方法通过潜在文档主题特征的提高，在文档分类和主题引导关键词生成等两个下游任务上表现更好。

Dec, 2020

本文介绍了一种名为 Graph Topic Model (GTM) 的基于图形神经网络 (GNNs) 的神经主题模型，通过信息交互捕捉图形节点之间的关系，将文档和词汇转化成为图中的节点，并根据共现性连接，通过图卷积汇聚邻居节点信息从而通过共享单词在文档之间建立关系，扩充了文档的主题的表达方式。研究者还基于三个数据集开展了广泛的实验，其结果证明了这种方法的有效性。

Sep, 2020

本文提出了一种高斯混合神经主题模型（GMNTM），该模型将单词的顺序和句子的语义意义同时纳入了主题建模，实验结果表明，相比现有的主题建模方法，GMNTM 在困惑度、检索准确性和分类准确性方面获得了显著的改进。

Feb, 2015

本文介绍了一种神经语言模型，可以通过类似主题模型的架构将文档上下文（而非当前句子）作为简洁的表征加入模型中。实验表明，这种模型在语言模型困惑度和主题相关性方面优于仅基于句子的模型和标准 LDA 主题模型。同时，该模型还具有生成单个主题关联句子的功能，为主题的解释提供了另一种方式。

Apr, 2017

本文提出了一种新的语言模型，通过序列组合树来取代之前基于线性链的假设，消除了结构上的任何假设，利用对比熵作为评估度量标准对新模型进行评估，相较于以往基于递归神经网络的模型，在失真级别上获得了超过 100% 的改进。

Apr, 2016

该研究介绍了一种将主题模型与语言模型相结合的方法，扩展了语言理解的范围，通过主题进行了文档级上下文的抽取，并提出了一种可解释的主题表征，将主题语义加入到语言模型中。通过建模每个句子中的话题，保留了句子与文档主题关联，提出了一种既有隐藏话题，同时又有可解释话题的神经组合语言模型。该模型在多项任务中展现了显著提升的能力，包括语言建模、词义消岐、文档分类、检索和文本生成。

Jun, 2020

文本文件通常按多个层次结构化：单个单词由语法相关联，但更大的文本单元由话语结构相关联。本研究提出并实证评估了一组多级递归神经网络语言模型，称为文档上下文语言模型（DCLM），它们在句子内外都融入上下文信息。与基于单词级的递归神经网络语言模型相比，DCLM 模型预测概率略有提高，文档连贯性评估显著提高。

Nov, 2015

我们提出了一种基于最简单的张量网络（即张量列）的新型张量网络语言模型，称为 'Tensor Train Language Model'（TTLM）。通过将单词的张量积构建成指数空间，TTLM 表示句子，但以低维度方式计算句子的概率。我们证明了第二阶 RNN、递归算术电路（RACs）和乘积积分 RNN 的架构本质上是 TTLM 的特殊情况。对真实语言建模任务的实验评估表明，TTLM 的各种变体（即 TTLM-Large 和 TTLM-Tiny）优于具有低规模隐层单元的传统递归神经网络（RNNs）。

May, 2024