本文提出了半监督 vMF 神经主题建模（S2vNTM）方法，该方法通过少量种子关键字作为主题输入，利用关键字的模式识别潜在主题，并优化主题的关键字集，旨在克服现有的一些困难，包括难以整合人类知识，需要大量资源来训练模型以及依赖大量文本数据进行预训练，实验表明，S2vNTM 在提供有限关键字的情况下，在多个数据集上的分类准确性均优于现有的半监督主题建模方法，并且至少比基线快一倍。

Jul, 2023

通过最优传输理论，提出一种新的神经主题模型来更好地实现文档表示和一致 / 多样化的主题，特别地，通过最小化文档的 OT 距离来学习文档的主题分布，实验证明该模型在常规和短文本的文本分析中表现显著优于现有的神经主题模型。

Aug, 2020

本文介绍了标签索引神经主题模型（LI-NTM），它是迄今为止首个有效的上游半监督神经主题模型，并通过文档重建基准测试发现 LI-NTM 在低标记数据制度和带有信息标签的数据集中优于现有神经主题模型，此外，通过消融研究发现，我们共同学习的分类器优于基线分类器。

Apr, 2022

提出了一种通过模型相似度来改进神经主题模型的方法，利用数据增强和层次化主题传输距离来计算文档之间的语义距离，从而显著提高神经主题模型在不同语料库中的泛化能力。

Jul, 2023

我们提出了 Transformer-Representation Neural Topic Model (TNTM)，它将基于变压器的嵌入空间中的主题表示优势与概率建模相结合，利用变分自编码器 (VAE) 框架提高推理速度和建模灵活性，实验结果表明，我们提出的模型在嵌入连贯性方面达到了各种最先进方法的结果，并且保持了几乎完美的主题多样性。

Mar, 2024

本文提出了一种高斯混合神经主题模型（GMNTM），该模型将单词的顺序和句子的语义意义同时纳入了主题建模，实验结果表明，相比现有的主题建模方法，GMNTM 在困惑度、检索准确性和分类准确性方面获得了显著的改进。

Feb, 2015

本研究旨在找出好的词汇，并确定在不需要试验训练的情况下，是否可以找到最优词汇。我们提出了一种新的信息理论视角解释词汇的作用，并将词汇化的目标 —— 找到大小适当的最佳词汇字典 —— 表述为一种最优搬运（OT）问题。我们提出了一个名为 VOLT 的简单高效的解决方案，实证结果表明，在涵盖 WMT-14 英德和 TED 的 52 个翻译方向等各种情况下，VOLT 的表现优于广泛使用的词汇集，例如，在英德翻译中，VOLT 实现了近 70% 的词汇量减少和 0.5 BLEU 增益。此外，与 BPE-search 相比，VOLT 将英德翻译的搜索时间从 384 GPU 小时减少到 30 GPU 小时。

Dec, 2020

这篇论文介绍了神经方法在主题建模中的应用，特别是提供可参数化分布以允许可变参数下的后向传播，同时提出了一种递归网络，能够类似于贝叶斯非参数主题模型发现数量概念上无限的主题，在 MXM Song Lyrics，20NewsGroups 和 Reuters News 数据集上得到了实验结果的证明。

Jun, 2017

本文提出了一种名为知识蒸馏半监督主题模型（KDSTM）的方法，该方法可以利用主题模型的无监督特征提取来完成文本分类任务，而无需预先训练。该方法具有较高的效率和准确性，相对于基于监督的分类模型更具鲁棒性。

Jul, 2023

EdTM is a label name supervised topic modeling approach that incorporates analysts' understanding of the corpus using LM/LLM based document-topic affinities and optimal transport for making globally coherent topic assignments.

Jun, 2024