主题建模与深度神经网络：一项调查
综述了神经主题模型（Neural Topic Models）的方法、应用和挑战，将当前的神经主题模型方法按网络结构进行系统分类，并介绍了在短文本和跨语言文档等多种场景中的神经主题模型应用。还讨论了基于神经主题模型构建的各种热门应用，最后指出了神经主题模型面临的挑战，以激发未来的研究。
Jan, 2024
一项最近的自然语言处理研究旨在结合语言模型和主题模型，这些主题引导的语言模型通过将主题模型与神经语言模型相结合，采用无监督学习方法来发现文档级别的词汇使用模式。本文比较了这些方法在标准化环境中的效果，并发现这些方法中没有任何一种超越了标准 LSTM 语言模型基准，并且大多数方法无法学习到好的主题。此外，我们训练了一个探测神经语言模型的方法，结果显示基准模型的隐藏状态已经编码了主题信息。本研究公开了所使用的所有代码。
Dec, 2023
近年来，深度学习通过能够学习语言数据的复杂表示方式从而在自然语言处理中带来了革命性的变化，深度学习模型广泛应用于提升多种自然语言处理任务的性能。本文综述了近年来流行的文本摘要任务，包括抽取式、生成式、多文档等，并讨论了相关的深度学习模型以及其在这些任务上的实验结果，同时涵盖了摘要任务的数据集和数据表示，以及与之相关的机遇和挑战，旨在激发未来的研究努力以进一步推动该领域的发展。研究目标在于解释这些方法在其需求上的不同之处，因为对它们的理解对于选择适用于特定环境的技术至关重要。
Oct, 2023
本文提出了首次系统全面评估多模式主题建模的方法，并提出了两个新的主题建模解决方案和两个新的评估指标。通过对数据集的评估，我们发现我们的模型都能生成连贯且多样化的主题。然而，一个方法优于另一个方法的程度取决于评估指标和数据集的组合，这表明未来需要进一步探索混合解决方案。值得注意的是，我们简明的人工评估与我们提出的评估指标结果一致，这不仅强化了评估指标的可信度，也突出了其在引导未来多模式主题建模研究中的潜力。
Mar, 2024
通过深度神经网络、预训练语言模型和最新的大型语言模型的出现，文本摘要研究经历了几次重大转型，本文综述通过这些范式转变的视角全面回顾了文本摘要研究的进展和演变，分为两个主要部分：(1) 在大型语言模型时代之前的数据集、评估指标和摘要方法的详细概述，包括传统统计方法、深度学习方法和预训练语言模型微调技术，以及 (2) 大型语言模型时代中对基准测试、建模和评估摘要的最新进展的首次详细研究。通过综合现有文献并提供一个连贯的概述，本文还讨论了研究趋势、面临的挑战以及在摘要研究中提出的有希望的研究方向，旨在引导研究人员了解摘要研究的不断演变的领域。
Jun, 2024
本文综述了近期在基于神经网络的自动文本摘要中的十种最先进的神经网络模型，其中包括五种生成式模型和五种抽取式模型，并讨论了应用于摘要任务的相关技术和未来研究的有前途的方向。
Mar, 2018
该论文介绍了一种神经主题模型 TopicAdapt，可以从一个相关的源语料库中适应相关主题，并在目标语料库中发现源语料库中缺失的新主题，实验结果表明，该模型在多个领域的多个数据集上表现优于现有的主题模型。
Oct, 2023