神经动态聚焦主题模型

AAAIJan, 2023

Neural Dynamic Focused Topic Model

Kostadin Cvejoski, Ramsés J. Sánchez, César Ojeda

TL;DR本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

Abstract

topic models and all their variants analyse text by learning meaningful representations through word co-occurrences. As pointed out by Williamson et al. (2010), such models implicitly assume that the probability of a topic to be active and its proportion within each document are positi

topic models neural variational inference focused topic model generalization prediction

发现论文，激发创造

神经变分推断下的离散隐变量主题挖掘

这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

Jun, 2017

ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

Feb, 2023

不带重新参数化技巧的离散变分循环主题模型

本文介绍了如何使用神经变分推断学习具有离散随机变量的神经主题模型，该模型不依赖于随机反向传播处理离散变量，结合主题模型分析整个文档的话题连贯性。使用神经变分推断，在多个语料库中，我们展示了改进的困惑度和文档理解，考虑了先验参数的影响，同时证明了本方法在话题质量的自动度量上具有竞争力和超越性能。

Oct, 2020

主题建模与深度神经网络：一项调查

本文介绍了神经主题模型研究的最新进展和发展方向，旨在为 AI 社区中的研究人员提供一个全面的概述以促进其在这一快速发展研究领域中进行创新。

Feb, 2021

可扩展的广义动态主题模型

本篇论文介绍了针对动态主题模型的一些新成果，包括将可计算先前从 Wiener 过程扩展到通用的高斯过程，提出了基于随机变分推理和稀疏高斯过程的可扩展近似推理方法，实验结果表明扩展模型可以发现以前无法找到的有趣模式。

Mar, 2018

演化跟踪对比学习和无关词排除在链式自由时尚中建模动态主题

提出了一种新的神经模型来解决现有动态主题模型中的重复主题和不相关主题问题，并通过引入新的进化跟踪对比学习方法和不相关词排除方法来提高主题进化的质量和多样性。

May, 2024

历史是生活的导师：利用神经嵌入进行古罗马文学的动态主题建模

使用 BERT 嵌入实现的动态主题模型与传统的统计模型（LDA 和 NMF）进行比较，模型主题遍布整个罗马文学存档，定量评估偏向统计模型，而定性评估对神经模型有更好的洞察力，此外，神经主题模型对超参数配置不敏感，使动态主题建模对历史研究人员更具可行性。

Jun, 2024

文本处理的神经变分推断

通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络，我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。

Nov, 2015

动态嵌入主题模型

该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型，通过向每个时间步长中的嵌入表示赋值主题，该模型能够学习到平滑的主题轨迹，并在三个不同的语料库上发现，在文档完成任务中，该模型优于动态 LDA，而且比 LDA 更易于训练。

Jul, 2019

分析时间序列文档集的动态和静态主题模型

本文提出一个动态和静态主题模型，能同时考虑时间上的主题演化和每个时间的主题层级结构，以此来分析结构化的时间序列文档。作者通过实验表明，该方法在科学论文集的主题提取方面优于传统模型，并展示了提取出的主题结构，以此来帮助对研究活动进行分析。

May, 2018