ICLRJul, 2023

S2vNTM: 半监督 vMF 神经主题建模

PDF
TL;DR本文提出了半监督 vMF 神经主题建模（S2vNTM）方法，该方法通过少量种子关键字作为主题输入，利用关键字的模式识别潜在主题，并优化主题的关键字集，旨在克服现有的一些困难，包括难以整合人类知识，需要大量资源来训练模型以及依赖大量文本数据进行预训练，实验表明，S2vNTM 在提供有限关键字的情况下，在多个数据集上的分类准确性均优于现有的半监督主题建模方法，并且至少比基线快一倍。
发现论文，激发创造
  • vONTSS: 基于 vMF 半监督神经主题建模和最优传输的模型

    本论文提出了一种使用 vMF 变分自动编码器和最优传输的半监督神经主题建模方法 vONTSS，通过提供每个主题的少量关键词，可以生成潜在主题，并优化主题 - 关键词质量和主题分类。实验表明 vONTSS 在分类准确性和多样性方面优于现有的半监督主题建模方法，并且还支持无监督主题建模。

    Jul, 2023

  • 半监督神经主题建模的联合学习方法

    本文介绍了标签索引神经主题模型（LI-NTM），它是迄今为止首个有效的上游半监督神经主题模型，并通过文档重建基准测试发现 LI-NTM 在低标记数据制度和带有信息标签的数据集中优于现有神经主题模型，此外，通过消融研究发现，我们共同学习的分类器优于基线分类器。

    Apr, 2022

  • KDSTM：带有知识蒸馏的神经半监督主题建模

    本文提出了一种名为知识蒸馏半监督主题模型（KDSTM）的方法，该方法可以利用主题模型的无监督特征提取来完成文本分类任务，而无需预先训练。该方法具有较高的效率和准确性，相对于基于监督的分类模型更具鲁棒性。

    Jul, 2023

  • 学习主题模型 —— 走出奇异值分解

    该论文从理论上证明了利用非负矩阵分解（NMF）作为主要工具来实现主题模型学习算法的可行性，具有学习效率高，不需要数据满足某些限制条件等优点，可用于包含主题 - 主题相关性的模型。

    Apr, 2012

  • 具有排序敏感性和语义感知能力的主题建模

    本文提出了一种高斯混合神经主题模型（GMNTM），该模型将单词的顺序和句子的语义意义同时纳入了主题建模，实验结果表明，相比现有的主题建模方法，GMNTM 在困惑度、检索准确性和分类准确性方面获得了显著的改进。

    Feb, 2015

  • TAN-NTM：用于神经主题建模的主题注意力网络

    提出了一种名为 TAN-NTM 的框架，该框架使用一种新颖的注意力机制，即关注主题相关线索的单词，将文档作为一个标记序列进行处理。该模型发现，利用主题 - 单词分布来学习更好的特征已经没有得到很好的利用，尝试提出一种提高这种探讨的框架。在 20Newsgroups、Yelp Review Polarity 和 AGNews 等基准数据集上，相对于现有 SOTA 主题模型的 NPMI 一致性得分，我们进行了大量的削减和实验，结果证明我们的方法可以获得～9-15％的改善。此外，我们还证明了与现有一些主题模型相比，我们的方法通过潜在文档主题特征的提高，在文档分类和主题引导关键词生成等两个下游任务上表现更好。

    Dec, 2020

  • 神经主题模型综述：方法、应用和挑战

    综述了神经主题模型（Neural Topic Models）的方法、应用和挑战，将当前的神经主题模型方法按网络结构进行系统分类，并介绍了在短文本和跨语言文档等多种场景中的神经主题模型应用。还讨论了基于神经主题模型构建的各种热门应用，最后指出了神经主题模型面临的挑战，以激发未来的研究。

    Jan, 2024

  • 走向神经主题表示的泛化

    提出了一种通过模型相似度来改进神经主题模型的方法，利用数据增强和层次化主题传输距离来计算文档之间的语义距离，从而显著提高神经主题模型在不同语料库中的泛化能力。

    Jul, 2023

  • ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

    本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

    Feb, 2023

  • MPTopic: 通过遮蔽置换预训练优化主题建模

    通过引入 TF-RDF 方法和 MPTopic 聚类算法，本研究展示了通过 MPTopic 和 TF-RDF 的协同作用识别出的主题关键词优于 BERTopic 和 Top2Vec 提取的关键词。

    Sep, 2023