在本论文中，我们采取了一种新的方法来解决短文本主题建模中的数据稀疏问题，通过利用现有的预训练语言模型将短文本扩展为更长的序列。此外，我们提供了一种简单的解决方案，通过扩展神经主题模型来减少预训练语言模型生成的与主题无关的噪声文本的影响。我们观察到我们的模型能够显著改善短文本主题建模的性能。在极度数据稀疏的情况下，对多个真实数据集进行的大量实验证明了我们的模型可以生成优质主题，胜过现有最先进的模型。
Oct, 2023
本文提出了一种基于词共现网络的模型 WNTM，通过模拟每个词的主题分布来解决短文本的稀疏性和不平衡性问题，并通过使用与 LDA 相同的 Gibbs 采样使得 WNTM 易于扩展到各种应用场景。对短文本和普通文本的广泛验证证明了 WNTM 相对于基线方法具有更好的性能，并且可以精确地发现微博等应用程序中新兴主题或意外事件。
Dec, 2014
本文提出了一种基于多模态的深度学习框架，用于短文本多类别分类，针对于极小数据集，使用了 DISTILBERT 来获取上下文敏感的动态词向量，并取得了在精度、召回率、准确率和 F1 分数上与现有最优方法相同的性能，同时模型体积更小，可以在移动设备上更快、更轻地部署。
Jun, 2022
通过使用大型语言模型 (LLMs) 进行主题建模的两种方法，即并行提示和顺序提示，本文克服了传统主题模型在短文本上推断潜在主题时面临的挑战，并证明这些方法能够识别出比现有方法更连贯的主题，同时保持引发主题的多样性。此外，本研究发现所推断的主题充分涵盖了输入文本，而几乎没有产生虚构的主题。
Jun, 2024
论文提出了一种基于记忆网络和神经关注机制的机器阅读模拟器，能够更好地处理结构化输入，并结合编码器 - 解码器体系结构，取得了很好效果。
Jan, 2016
本篇论文介绍了一种基于词向量和马尔科夫随机场正则化模型的主题模型，从而改进对小文本数据的话题推断。结果表明，与传统主题模型相比，改进后的方法可以更有效地对短文本数据进行话题建模。
Sep, 2016
利用大型语言模型对主题进行细化改进，从而显著提高主题的语义连贯性。
Mar, 2024
通过使用 Bi-Encoder Transformer 架构，我们提出了 Text2Topic，它在文本主题的高精度多标签分类方面取得了较高的性能，同时支持零样本预测，并通过实时处理平台部署的最终模型在 92.9% 的微观平均准确率和 75.8% 的宏观平均准确率上优于其他模型。
本研究评论现有短文本主题建模算法，分为三类，并展示了所有算法的统一接口、基准数据集和性能评估。
Apr, 2019
本文介绍了一种新的学习模型 - 记忆网络，利用推理组件和长期记忆组件共同学习。这些模型可以用于问答型任务中，长期记忆作为动态知识库，输出为文本响应。在评估中表明记忆网络模型在问答中具有强大的推理能力。
Oct, 2014