EMNLPDec, 2022

BERTopic 在多领域短文本上的泛化实验

PDF
TL;DR本研究探讨了在短的多领域文本中如何运用 BERTopic 算法进行主题建模，并发现与 Latent Dirichlet Allocation 相比，BERTopic 在主题连贯性和多样性方面的表现更好。我们进一步分析了 BERTopic 所使用的 HDBSCAN 聚类算法的性能，并发现其将大多数文档分类为异常值。在使用 k-Means 替换 HDBSCAN 后，我们取得了类似的性能表现，但不再出现异常值。
topic modelinglatent dirichlet allocationbertopichdbscank-means
发现论文，激发创造
  • 一种高再现性和高准确度的自动化主题分类方法

    通过比较 LDA 和社区检测算法的优缺点，该研究提出一种用于主题发现的新算法，可在英文维基百科大规模文章中展现层次结构，提高文本分析系统的可靠性。

    Feb, 2014

  • 多语言变压器和 BERTopic 用于短文本主题建模：塞尔维亚案例

    该论文采用 BERTopic 主题建模技术对塞尔维亚语的短文本进行了首次应用，结果表明在部分预处理的情况下，BERTopic 可以提供信息丰富的主题。与 LDA 和 NMF 相比，BERTopic 提供了更多有信息量的主题，并在主题数不受限制时提供新的见解。这些研究结果对于处理其他形态丰富的低资源语言和短文本的研究者具有重要意义。

    Feb, 2024

  • 基于 Transformer 处理的模糊主题建模新方法

    基于软聚类和文档嵌入的模糊主题建模对比传统的 Latent Dirichlet Allocation（LDA）模型，在新闻发布监测中，得到了更加自然的结果。

    Sep, 2023

  • 主题模型的网络方法

    采用随机块模型方法，针对主题建模中存在的问题，提出了一种更具通用性和原则性的框架，该框架能够自动检测主题数和分级群集单词和文档，从而比 LDA 在统计模型选择方面提供更好的主题模型。

    Aug, 2017

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 信念传播学习主题模型

    该研究提出了一种基于马尔可夫随机场框架下的因子图表示方法，实现了传统信念传播算法对隐含狄利克雷分配模型的近似推理和参数估计，该算法在速度和准确性方面均具有竞争力，并且可以成为基于 LDA 的话题模型的通用学习方案。

    Sep, 2011

  • 融合词嵌入的短文本主题建模

    本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型，从而改进对小文本数据的话题推断。结果表明，与传统主题模型相比，改进后的方法可以更有效地对短文本数据进行话题建模。

    Sep, 2016

  • 短文本主题建模技术、应用和表现：一项调查

    本研究评论现有短文本主题建模算法，分为三类，并展示了所有算法的统一接口、基准数据集和性能评估。

    Apr, 2019

  • 上下文化注意力嵌入的主题

    通过设计不同的探针实验，使用 BERT 和 DistilBERT，我们发现注意力框架在模拟主题词簇时发挥了关键作用，这为探讨概率主题模型和预训练语言模型之间的关系铺平了道路。

    Jan, 2023

  • Peacock: 针对工业应用学习长尾话题特征

    本文提出了一个新的分布式系统 Peacock，以学习大规模的 LDA 主题模型，可以从大规模数据集中推断出至少 10^5 个主题，对于工业搜索引擎和在线广告系统都有显著的提高。

    May, 2014