在本论文中，我们采取了一种新的方法来解决短文本主题建模中的数据稀疏问题，通过利用现有的预训练语言模型将短文本扩展为更长的序列。此外，我们提供了一种简单的解决方案，通过扩展神经主题模型来减少预训练语言模型生成的与主题无关的噪声文本的影响。我们观察到我们的模型能够显著改善短文本主题建模的性能。在极度数据稀疏的情况下，对多个真实数据集进行的大量实验证明了我们的模型可以生成优质主题，胜过现有最先进的模型。

Oct, 2023

本文提出了一种基于图的对比学习方法，使用生成的正负样本和原型来改善学习文档主题表示和潜在主题。通过对几个基准数据集的实验，证明了该方法在主题连贯性和文档表示学习方面的有效性。

Jul, 2023

本文提出了一个结合对比学习和外部知识的短文本匹配模型，使用生成模型构建补全句子，利用对比学习方法获得更加语义化的编码，使用关键词与知识库相结合构建知识图谱，通过的实验证明了该模型在两个中文文本匹配数据集上达到了最佳表现。

Apr, 2023

本文提出了一种基于词共现网络的模型 WNTM，通过模拟每个词的主题分布来解决短文本的稀疏性和不平衡性问题，并通过使用与 LDA 相同的 Gibbs 采样使得 WNTM 易于扩展到各种应用场景。对短文本和普通文本的广泛验证证明了 WNTM 相对于基线方法具有更好的性能，并且可以精确地发现微博等应用程序中新兴主题或意外事件。

Dec, 2014

我们提出了一种用于发现不均衡的短文本数据集中稀缺主题的简单解决方案，名为 CWUTM（基于共现词网络的不均衡短文本数据集的主题模型）。该方法通过减轻偶然词共现的影响来解决稀疏和不均衡的短文本主题的挑战。与以前的方法不同，CWUTM 利用共现词网络来捕捉每个单词的主题分布，并通过重新定义节点活动的计算和在一定程度上标准化稀缺和丰富主题的表示来增强对稀缺主题的敏感性。此外，CWUTM 采用了类似于 LDA 的 Gibbs 抽样方法，使其能够轻松适应各种应用场景。我们在不均衡的短文本数据集上进行了广泛的实验证实，证明了 CWUTM 在发现稀缺主题方面相比基准方法的优越性。根据实验结果，所提出的模型在社交平台上能够及早、准确地检测出新兴主题或意外事件。

Nov, 2023

本研究评论现有短文本主题建模算法，分为三类，并展示了所有算法的统一接口、基准数据集和性能评估。

Apr, 2019

本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型，从而改进对小文本数据的话题推断。结果表明，与传统主题模型相比，改进后的方法可以更有效地对短文本数据进行话题建模。

Sep, 2016

本文提出了稀疏主题编码（STC）方法，通过使用稀疏性建模大数据集的潜在表示，可以直接控制推断表示的稀疏性，并且可以与凸误差函数（例如 SVM Hinge Loss）无缝集成进行监督学习。实验结果表明，STC 和监督 MedSTC 模型在词汇的主题意义识别和分类准确性和时间效率方面优于其他模型。

Feb, 2012

本文提出了一种基于负采样机制的上下文主题模型，通过扰动生成的文档 - 主题向量，并利用三元组损失函数，鼓励从正确文档 - 主题向量重构出来的文档与输入文档相似，与从扰动向量重构出来的文档相异，实验证明该方法在不同主题数量公开数据集上得到了改善。同时该模型具有较高的主题多样性。

Mar, 2023

利用大型语言模型对主题进行细化改进，从而显著提高主题的语义连贯性。

Mar, 2024