textTOvec: 深度上下文化的神经自回归主题模型，采用分布式组合先验

ICLROct, 2018

textTOvec: 深度上下文化的神经自回归主题模型，采用分布式组合先验

textTOvec: Deep Contextualized Neural Autoregressive Topic Models of Language with Distributed Compositional Prior

Pankaj Gupta, Yatin Chaudhary, Florian Buettner, Hinrich Schütze

TL;DR本文提出了一种名为 ctx-DocNADE 的新颖的神经自回归主题模型，将 TM 和 LM 的两种学习词出现意义的学习范例组合在一起，通过嵌入词静态信息的输入，显著改善了小语料库和短文本中的词 - 主题映射，并在不同领域的 6 个长文本和 8 个短文本数据集上展示出了优越的泛化能力、可解释性和适用性。

Abstract

We address two challenges of probabilistic topic modelling in order to better estimate the probability of a word in a given context, i.e., P(word|context): (1) No Language Structure in Context: Probabilistic topic models ignore word order by summarizing a given context as a "bag-of-wor

probabilistic topic modelling lstm-lm neural autoregressive topic model word embeddings topic coherence

发现论文，激发创造

具有基于文档信息的分布式先验的神经自回归主题模型

我们提出了一种新颖的神经自回归主题模型，利用语言建模方式中单词周围的完整上下文信息进行学习，同时将嵌入作为分布式先验知识引入模型，这两个扩展可以处理短文本情况并提高主题模型的一般性、可解释性和适用性。

Sep, 2018

主题组成神经语言模型

我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

Dec, 2017

主题驱动神经语言模型

本文介绍了一种神经语言模型，可以通过类似主题模型的架构将文档上下文（而非当前句子）作为简洁的表征加入模型中。实验表明，这种模型在语言模型困惑度和主题相关性方面优于仅基于句子的模型和标准 LDA 主题模型。同时，该模型还具有生成单个主题关联句子的功能，为主题的解释提供了另一种方式。

Apr, 2017

多模态数据主题建模的深度和自回归方法

本研究采用新型主题模型 DocNADE 扩展，提出了 SupDocNADE 模型，并成功将其应用于多模态数据，实现了图像标注和分类的联合表示，并取得了 state-of-the-art 的性能表现。同时，也在深度模型方面进行了探索，表现出更出色的结果。

Sep, 2014

TAN-NTM：用于神经主题建模的主题注意力网络

提出了一种名为 TAN-NTM 的框架，该框架使用一种新颖的注意力机制，即关注主题相关线索的单词，将文档作为一个标记序列进行处理。该模型发现，利用主题 - 单词分布来学习更好的特征已经没有得到很好的利用，尝试提出一种提高这种探讨的框架。在 20Newsgroups、Yelp Review Polarity 和 AGNews 等基准数据集上，相对于现有 SOTA 主题模型的 NPMI 一致性得分，我们进行了大量的削减和实验，结果证明我们的方法可以获得～9-15％的改善。此外，我们还证明了与现有一些主题模型相比，我们的方法通过潜在文档主题特征的提高，在文档分类和主题引导关键词生成等两个下游任务上表现更好。

Dec, 2020

深度潜在位置主题模型用于文本边网络的聚类和表示

本研究介绍了一种基于概率模型和可变图自动编码器方法的 Deep-LPTM 模型聚类策略，使节点和边在两个嵌入空间中构建联合表示，以解决社交网络中的节点聚类和数据可视化等问题，并在 Enron 公司的电子邮件数据上进行了验证。

Apr, 2023

BERTTM：利用预训练语言模型的上下文化单词嵌入来进行神经主题建模

本研究开发了一种新型的神经主题模型，结合了来自预先训练的语言模型 BERT 的上下文化单词嵌入，无需使用任何词袋信息即可推断文档的主题分布，实验表明该模型在文档分类和主题连贯度指标方面优于现有主题模型，并可处理来自新到达文档的未见单词。

May, 2023

近在眼前，远在天边：神经语言模型如何利用上下文

本研究通过切片研究分析，探讨了神经语言模型如何利用其先前的语境。结果显示，模型能有效地利用大约 200 个标记的语境，但对远古语境的词序并不敏感，而是将其建模为一个粗糙的语义领域或主题，同时这项研究还为基于缓存的模型的最近的成功提供了启示。

May, 2018

DeTiME: 基于编码器 - 解码器的扩散增强主题建模

Diffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME) leverages LLMs to produce clusterable embeddings and generate highly clustered topics with relevant content, showcasing efficiency and adaptability.

Oct, 2023

大型语言模型下的短文本主题建模

通过使用大型语言模型 (LLMs) 进行主题建模的两种方法，即并行提示和顺序提示，本文克服了传统主题模型在短文本上推断潜在主题时面临的挑战，并证明这些方法能够识别出比现有方法更连贯的主题，同时保持引发主题的多样性。此外，本研究发现所推断的主题充分涵盖了输入文本，而几乎没有产生虚构的主题。

Jun, 2024