Jul, 2019

动态嵌入主题模型

PDF
TL;DR该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型，通过向每个时间步长中的嵌入表示赋值主题，该模型能够学习到平滑的主题轨迹，并在三个不同的语料库上发现，在文档完成任务中，该模型优于动态 LDA，而且比 LDA 更易于训练。
topic modelingdynamic topic modelslatent dirichlet allocationword embeddingsamortized variational inference
发现论文，激发创造
  • 嵌入空间中的主题建模

    本研究提出了一种新的主题模型，嵌入式主题模型（ETM），通过将传统的主题模型与词嵌入技术相结合，成功发现了即使在包含生僻词和停用词的大词汇表中也具有可解释性的主题。此外，研究还开发了高效的变分推理算法来拟合 ETM 进行预测。

    Jul, 2019

  • 关键词辅助的嵌入式主题模型

    本文提出了关键词辅助嵌入式主题模型（KeyETM)，它使嵌入式主题模型（ETM）得以利用用户先前领域知识中的信息，从而在量化指标和主题干扰任务的实验中展现了优秀的表现，而不仅仅是将话题模型作为无监督模型。

    Nov, 2021

  • 融合词嵌入的短文本主题建模

    本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型，从而改进对小文本数据的话题推断。结果表明，与传统主题模型相比，改进后的方法可以更有效地对短文本数据进行话题建模。

    Sep, 2016

  • 连续时间动态主题模型

    本文介绍了一种新的连续时间动态主题模型（cDTM），它使用布朗运动模拟文档序列中的潜在主题，通过稀疏观测值使用变分推理算法进行有效推断。我们在两个新闻语料库上测试了该模型，并通过预测困惑度和时间戳预测等指标进行了评估。

    Jun, 2012

  • 知识感知的贝叶斯深度主题模型

    提出了一种 Bayesian 生成模型来将先验领域知识融入到分层主题建模中，从而形成可解释的分类。

    Sep, 2022

  • Timeline：一种动态层级狄利克雷过程模型，用于恢复文本流中主题的出生 / 死亡和演化

    本文提出了无限动态主题模型 (iDTM)，该模型能够适应文档集合中主题数量、主题分布和流行度等潜在结构的时空演化，使用该模型对 NIPS 社区中的主题进行了分析并在模拟和真实数据集上进行了评估，结果良好。

    Mar, 2012

  • DeTiME: 基于编码器 - 解码器的扩散增强主题建模

    Diffusion-Enhanced Topic Modeling using Encoder-Decoder-based LLMs (DeTiME) leverages LLMs to produce clusterable embeddings and generate highly clustered topics with relevant content, showcasing efficiency and adaptability.

    Oct, 2023

  • 基于 Transformer 处理的模糊主题建模新方法

    基于软聚类和文档嵌入的模糊主题建模对比传统的 Latent Dirichlet Allocation（LDA）模型，在新闻发布监测中，得到了更加自然的结果。

    Sep, 2023

  • ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

    本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

    Feb, 2023

  • 可扩展的广义动态主题模型

    本篇论文介绍了针对动态主题模型的一些新成果，包括将可计算先前从 Wiener 过程扩展到通用的高斯过程，提出了基于随机变分推理和稀疏高斯过程的可扩展近似推理方法，实验结果表明扩展模型可以发现以前无法找到的有趣模式。

    Mar, 2018