May, 2024

FASTopic：一种快速适应稳定且可迁移的主题建模范式

PDF
TL;DRFASTopic 是一种快速、自适应、稳定和可传递的主题模型，采用 Dual Semantic-relation Reconstruction（DSR）方法来发现潜在主题，并通过模拟文档、主题和词嵌入之间的语义关系进行重建，以提供一个高效的主题建模框架。同时，还提出了一种新颖的 Embedding Transport Plan（ETP）方法来解决关系偏差问题，通过优化传输方案中的语义关系，从而实现更有效的主题建模。大量的实验结果表明，相比各种情景下的现有基准模型，FASTopic 在有效性、效率、适应性、稳定性和可传递性方面都表现出优势。
发现论文，激发创造
  • 动态嵌入主题模型

    该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型，通过向每个时间步长中的嵌入表示赋值主题，该模型能够学习到平滑的主题轨迹，并在三个不同的语料库上发现，在文档完成任务中，该模型优于动态 LDA，而且比 LDA 更易于训练。

    Jul, 2019

  • 神经动态聚焦主题模型

    本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

    Jan, 2023

  • 深度时间循环复制 Softmax 在时序话题趋势中的应用

    本文提出了一种新的无监督神经动态主题模型 ——RNNRSM，该模型有利于在时间序列文档集合中识别主题趋势，并引入了一个用于量化模型捕捉单词演变的指标 SPAN。通过对 19 年 NLP 研究文章的应用，与现有主题模型相比，RNNRSM 表现出更好的泛化性、主题解释性、演化和趋势性。

    Nov, 2017

  • TopicAdapt - 一种企业间主题自适应方法

    该论文介绍了一种神经主题模型 TopicAdapt，可以从一个相关的源语料库中适应相关主题，并在目标语料库中发现源语料库中缺失的新主题，实验结果表明，该模型在多个领域的多个数据集上表现优于现有的主题模型。

    Oct, 2023

  • 基于 Transformer 表示的概率主题建模

    我们提出了 Transformer-Representation Neural Topic Model (TNTM)，它将基于变压器的嵌入空间中的主题表示优势与概率建模相结合，利用变分自编码器 (VAE) 框架提高推理速度和建模灵活性，实验结果表明，我们提出的模型在嵌入连贯性方面达到了各种最先进方法的结果，并且保持了几乎完美的主题多样性。

    Mar, 2024

  • 嵌入空间中的主题建模

    本研究提出了一种新的主题模型，嵌入式主题模型（ETM），通过将传统的主题模型与词嵌入技术相结合，成功发现了即使在包含生僻词和停用词的大词汇表中也具有可解释性的主题。此外，研究还开发了高效的变分推理算法来拟合 ETM 进行预测。

    Jul, 2019

  • 走向神经主题表示的泛化

    提出了一种通过模型相似度来改进神经主题模型的方法，利用数据增强和层次化主题传输距离来计算文档之间的语义距离，从而显著提高神经主题模型在不同语料库中的泛化能力。

    Jul, 2023

  • ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

    本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

    Feb, 2023

  • 可扩展的广义动态主题模型

    本篇论文介绍了针对动态主题模型的一些新成果，包括将可计算先前从 Wiener 过程扩展到通用的高斯过程，提出了基于随机变分推理和稀疏高斯过程的可扩展近似推理方法，实验结果表明扩展模型可以发现以前无法找到的有趣模式。

    Mar, 2018

  • 深度潜在位置主题模型用于文本边网络的聚类和表示

    本研究介绍了一种基于概率模型和可变图自动编码器方法的 Deep-LPTM 模型聚类策略，使节点和边在两个嵌入空间中构建联合表示，以解决社交网络中的节点聚类和数据可视化等问题，并在 Enron 公司的电子邮件数据上进行了验证。

    Apr, 2023