ICMLJun, 2023

嵌入式聚类正则化有效的神经主题建模

PDF
TL;DR本文提出了一种新的神经主题模型 —— 嵌入聚类正则化主题模型 (ECRTM)，通过嵌入聚类正则化 (ER) 使每个产生的主题包含不同的词义，从而缓解了主题崩溃问题，并在主题质量、文档主题分布和下游分类任务等方面持续超越了最先进的基线。
topic modelsneural topic modelembedding clustering regularization topic modeltopic collapsingmodel interpretability
发现论文，激发创造
  • 嵌入空间中的主题建模

    本研究提出了一种新的主题模型，嵌入式主题模型（ETM），通过将传统的主题模型与词嵌入技术相结合，成功发现了即使在包含生僻词和停用词的大词汇表中也具有可解释性的主题。此外，研究还开发了高效的变分推理算法来拟合 ETM 进行预测。

    Jul, 2019

  • 基于嵌入式神经主题模型的统一性和显式规则化嵌入式更好理解

    本研究提出了一种基于嵌入正则化约束的神经主题模型，引入了嵌入空间的均匀性度量，通过剔除不必要的参数优化空间，研究嵌入的变化对于模型性能的影响，以此实现主题质量和文档建模之间的平衡。

    Jun, 2022

  • 神经主题建模优于聚类吗？基于语境嵌入的聚类主题实证研究

    本文研究利用高质量的句子表示和适当的词选择方法直接聚类句子表示的方法来生成更连贯和多样化的主题，相比于利用神经模型的方法有更高的效率和简洁性。

    Apr, 2022

  • 动态嵌入主题模型

    该研究采用动态主题模型和词嵌入模型组合设计了一种动态嵌入主题模型，通过向每个时间步长中的嵌入表示赋值主题，该模型能够学习到平滑的主题轨迹，并在三个不同的语料库上发现，在文档完成任务中，该模型优于动态 LDA，而且比 LDA 更易于训练。

    Jul, 2019

  • 基于 Transformer 表示的概率主题建模

    我们提出了 Transformer-Representation Neural Topic Model (TNTM)，它将基于变压器的嵌入空间中的主题表示优势与概率建模相结合，利用变分自编码器 (VAE) 框架提高推理速度和建模灵活性，实验结果表明，我们提出的模型在嵌入连贯性方面达到了各种最先进方法的结果，并且保持了几乎完美的主题多样性。

    Mar, 2024

  • 协同主题建模

    我们提出了一种名为 “协调主题建模” 的新问题，旨在通过复用现有知识来更加可解释地表示语料库，并设计了一种基于嵌入式的协调主题模型（ECTM），该模型通过引入主题和文档级别的监督和自训练机制来解决此问题，并在多个领域进行的广泛实验表明我们的模型优于其他基线。

    Oct, 2022

  • 关键词辅助的嵌入式主题模型

    本文提出了关键词辅助嵌入式主题模型（KeyETM)，它使嵌入式主题模型（ETM）得以利用用户先前领域知识中的信息，从而在量化指标和主题干扰任务的实验中展现了优秀的表现，而不仅仅是将话题模型作为无监督模型。

    Nov, 2021

  • 有标记的交互式主题模型

    通过为神经主题模型添加一种直观的交互方式，即用户可以为主题标记一个词语，并更新主题词使其靠近标记词，从而允许用户根据信息需求优化主题，我们的研究方法通过人机研究评估，证明用户标记能够改善文件排序得分，帮助找到更相关的文档。

    Nov, 2023

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 主题组成神经语言模型

    我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

    Dec, 2017