Oct, 2023

利用预训练语言模型进行短文本主题建模

PDF
TL;DR在本论文中，我们采取了一种新的方法来解决短文本主题建模中的数据稀疏问题，通过利用现有的预训练语言模型将短文本扩展为更长的序列。此外，我们提供了一种简单的解决方案，通过扩展神经主题模型来减少预训练语言模型生成的与主题无关的噪声文本的影响。我们观察到我们的模型能够显著改善短文本主题建模的性能。在极度数据稀疏的情况下，对多个真实数据集进行的大量实验证明了我们的模型可以生成优质主题，胜过现有最先进的模型。
topic modelslatent semanticsshort-text topic modelingdata-sparsity issuepre-trained language models
发现论文，激发创造
  • 大型语言模型下的短文本主题建模

    通过使用大型语言模型 (LLMs) 进行主题建模的两种方法，即并行提示和顺序提示，本文克服了传统主题模型在短文本上推断潜在主题时面临的挑战，并证明这些方法能够识别出比现有方法更连贯的主题，同时保持引发主题的多样性。此外，本研究发现所推断的主题充分涵盖了输入文本，而几乎没有产生虚构的主题。

    Jun, 2024

  • 预训练语言模型表示的潜空间聚类进行主题发现

    本文提出了一种基于 PLM 嵌入的联合潜在空间学习和聚类框架，通过联合建模主题 - 单词和文档 - 主题分布，有效地利用 PLMs 在主题发现方面的强大表示能力和出色语言特征，并在两个基准数据集上生成了比强劲的主题模型更加连贯、多样的主题，并提供更好的基于主题的文档表达形式。

    Feb, 2022

  • 融合词嵌入的短文本主题建模

    本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型，从而改进对小文本数据的话题推断。结果表明，与传统主题模型相比，改进后的方法可以更有效地对短文本数据进行话题建模。

    Sep, 2016

  • 短文本主题建模技术、应用和表现：一项调查

    本研究评论现有短文本主题建模算法，分为三类，并展示了所有算法的统一接口、基准数据集和性能评估。

    Apr, 2019

  • 大型语言模型用于主题建模

    我们提出了 PromptTopic，一种利用大型语言模型的先进语言理解能力从句子级别提取主题并将其汇总和压缩为预定数量的主题，从而消除了手动参数调整的需求并提高了提取主题的质量。我们在三个完全不同的数据集上与最先进的基线模型进行了比较，并展示了 PromptTopic 在发现有意义的主题方面的能力。此外，定性分析展示了 PromptTopic 在多个数据集中发现相关主题的能力。

    Dec, 2023

  • 增强短文本建模：利用大型语言模型进行主题细化

    利用大型语言模型对主题进行细化改进，从而显著提高主题的语义连贯性。

    Mar, 2024

  • 词网络话题模型：短文本和不平衡文本的简单通用解决方案

    本文提出了一种基于词共现网络的模型 WNTM，通过模拟每个词的主题分布来解决短文本的稀疏性和不平衡性问题，并通过使用与 LDA 相同的 Gibbs 采样使得 WNTM 易于扩展到各种应用场景。对短文本和普通文本的广泛验证证明了 WNTM 相对于基线方法具有更好的性能，并且可以精确地发现微博等应用程序中新兴主题或意外事件。

    Dec, 2014

  • 通过聚类表示，使预训练语言模型成为更好的零样本学习器

    本文通过将聚类方法应用于提前训练的语言模型的嵌入空间中，展示了在主题和情感分类数据集上，该方法在无需另作准备的情况下显著提高了零 - shot 文本分类的性能；并发现该方法不需要 Fine-tuning 就可以将文本分类；最后，文章还比较了不同 PLM 嵌入空间，并发现即使 PLM 未明确预训练为生成有意义的句子嵌入，它仍然能按主题将文本很好地聚类。

    Oct, 2022

  • 主题建模的少样本学习

    本文提出了一种基于神经网络的少样本学习方法，该方法可以从少量文档中学习主题模型，并通过 EM 算法的先验概率对主题模型参数进行估计，通过随机梯度下降方法使测试似然性达到最大值，在实验中，我们证明了该方法在三个真实文档集上表现出比现有方法更好的困惑度。

    Apr, 2021

  • 主题 - 语义对比学习减轻短文本主题建模中的数据稀疏性

    提出了一种新颖的短文本主题建模框架 Topic-Semantic Contrastive Topic Model (TSCTM)，采用一种新的对比学习方法来丰富学习信号并缓解数据稀疏问题，该方法优于现有的基线模型，不受数据增强可用性限制，能够产生高质量的主题和主题分布。

    Nov, 2022