ACLApr, 2022

半监督神经主题建模的联合学习方法

PDF
TL;DR本文介绍了标签索引神经主题模型（LI-NTM），它是迄今为止首个有效的上游半监督神经主题模型，并通过文档重建基准测试发现 LI-NTM 在低标记数据制度和带有信息标签的数据集中优于现有神经主题模型，此外，通过消融研究发现，我们共同学习的分类器优于基线分类器。
topic modelsdeep generative modelsneural topic modelsunsupervised learningsemi-supervised learning
发现论文，激发创造
  • 主题模型的自编码变分推理

    介绍了一种名为 AVITM 的新 topic model，用 autoencoded variational inference 解决了 Dirichlet 分布和 component collapsing 问题，并且推出了一种新的 topic model，ProdLDA，更容易解释。

    Mar, 2017

  • S2vNTM: 半监督 vMF 神经主题建模

    本文提出了半监督 vMF 神经主题建模（S2vNTM）方法，该方法通过少量种子关键字作为主题输入，利用关键字的模式识别潜在主题，并优化主题的关键字集，旨在克服现有的一些困难，包括难以整合人类知识，需要大量资源来训练模型以及依赖大量文本数据进行预训练，实验表明，S2vNTM 在提供有限关键字的情况下，在多个数据集上的分类准确性均优于现有的半监督主题建模方法，并且至少比基线快一倍。

    Jul, 2023

  • 基于 Transformer 表示的概率主题建模

    我们提出了 Transformer-Representation Neural Topic Model (TNTM)，它将基于变压器的嵌入空间中的主题表示优势与概率建模相结合，利用变分自编码器 (VAE) 框架提高推理速度和建模灵活性，实验结果表明，我们提出的模型在嵌入连贯性方面达到了各种最先进方法的结果，并且保持了几乎完美的主题多样性。

    Mar, 2024

  • 主题标签的自动生成

    本文提出了一种基于序列到序列神经网络的方法，用于为主题生成描述性标签，同时使用合成的数据集进行训练和测试，并通过与人工标注的标签进行比较评估该方法。

    May, 2020

  • TAN-NTM：用于神经主题建模的主题注意力网络

    提出了一种名为 TAN-NTM 的框架，该框架使用一种新颖的注意力机制，即关注主题相关线索的单词，将文档作为一个标记序列进行处理。该模型发现，利用主题 - 单词分布来学习更好的特征已经没有得到很好的利用，尝试提出一种提高这种探讨的框架。在 20Newsgroups、Yelp Review Polarity 和 AGNews 等基准数据集上，相对于现有 SOTA 主题模型的 NPMI 一致性得分，我们进行了大量的削减和实验，结果证明我们的方法可以获得～9-15％的改善。此外，我们还证明了与现有一些主题模型相比，我们的方法通过潜在文档主题特征的提高，在文档分类和主题引导关键词生成等两个下游任务上表现更好。

    Dec, 2020

  • ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

    本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

    Feb, 2023

  • 具有深度相互信息估计的神经主题建模

    本研究提出了一种新颖的神经话题模型（NTM-DMIE），可在无监督文本挖掘中应用。该模型结合了深度互信息估计和对抗学习，进一步保留文本输入的代表信息，并通过全局和局部互信息来维护输入文档中的丰富信息，并在几个度量标准方面表现出良好的性能。

    Mar, 2022

  • 神经变分推断下的离散隐变量主题挖掘

    这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

    Jun, 2017

  • 深度潜在位置主题模型用于文本边网络的聚类和表示

    本研究介绍了一种基于概率模型和可变图自动编码器方法的 Deep-LPTM 模型聚类策略，使节点和边在两个嵌入空间中构建联合表示，以解决社交网络中的节点聚类和数据可视化等问题，并在 Enron 公司的电子邮件数据上进行了验证。

    Apr, 2023

  • 神经主题模型综述：方法、应用和挑战

    综述了神经主题模型（Neural Topic Models）的方法、应用和挑战，将当前的神经主题模型方法按网络结构进行系统分类，并介绍了在短文本和跨语言文档等多种场景中的神经主题模型应用。还讨论了基于神经主题模型构建的各种热门应用，最后指出了神经主题模型面临的挑战，以激发未来的研究。

    Jan, 2024