ACLApr, 2020

双向对抗训练的神经主题建模

PDF
TL;DR提出了一种用于文本中的主题抽取的神经主题建模方法，Bidirectional Adversarial Topic (BAT) 模型，该模型使用双向对抗训练构建文档 - 主题分布和文档 - 单词分布之间的两向投影，并扩展了 Gaussian-BAT 模型用以提高相关单词信息的综合利用。在三个基准数据集上进行的实验结果表明，BAT 和 Gaussian-BAT 能够获得更一致的主题，提升了文本聚类的准确性。
neural topic modelsbidirectional adversarial topic modeltext clusteringword relatedness informationmodel inference
发现论文，激发创造
  • 对抗神经主题模型

    提出了基于生成对抗网络的话题模型，称为 Adversarial-neural Topic Model（ATM）。ATM 可以在生成语义话题的同时，生成单词级别的语义表示，并成功应用于开放领域事件提取。

    Nov, 2018

  • 循环一致性对抗训练的神经主题建模

    该研究提出了一种使用循环一致对抗训练的话题建模方法，能够发现连贯的话题和根据文档标签发现话题，并在无监督 / 有监督主题建模和文本分类中实现更好的效果。

    Sep, 2020

  • 基于 Transformer 表示的概率主题建模

    我们提出了 Transformer-Representation Neural Topic Model (TNTM)，它将基于变压器的嵌入空间中的主题表示优势与概率建模相结合，利用变分自编码器 (VAE) 框架提高推理速度和建模灵活性，实验结果表明，我们提出的模型在嵌入连贯性方面达到了各种最先进方法的结果，并且保持了几乎完美的主题多样性。

    Mar, 2024

  • 主题模型的自编码变分推理

    介绍了一种名为 AVITM 的新 topic model，用 autoencoded variational inference 解决了 Dirichlet 分布和 component collapsing 问题，并且推出了一种新的 topic model，ProdLDA，更容易解释。

    Mar, 2017

  • BatGPT: 双向自回归生成预训练 Transformer 对话模型

    BatGPT 是由武汉大学和上海交通大学联合设计和训练的大型语言模型，具有双向自回归架构和参数扩展方法，可以生成高度自然流畅的文本和用于各种自然语言处理任务。

    Jul, 2023

  • BERTopic: 一种基于类别的 TF-IDF 过程的神经主题建模方法

    BERTopic 是一种主题模型，通过 BERT 语言模型生成文档嵌入，并利用 TF-IDF 进行聚类和生成主题，具有较高的性能。

    Mar, 2022

  • 半监督神经主题建模的联合学习方法

    本文介绍了标签索引神经主题模型（LI-NTM），它是迄今为止首个有效的上游半监督神经主题模型，并通过文档重建基准测试发现 LI-NTM 在低标记数据制度和带有信息标签的数据集中优于现有神经主题模型，此外，通过消融研究发现，我们共同学习的分类器优于基线分类器。

    Apr, 2022

  • 一种分离用户评价中观点和情节的分离式对抗神经主题模型

    通过神经话题模型与对抗训练相结合的方法，我们提出了一种自动分离书评和影评中的主观评价与客观描述的主题的神经话题模型，并使用新的 MOBO 数据集对其性能进行了评估。结果显示，该模型有效地提高了主题的连贯性、多样性和情感分类性能。

    Oct, 2020

  • 双边对抗训练：快速训练更健壮的模型以抵御对抗性攻击

    本文提出了一种 Bilateral Adversarial Training 方法，使用一步定向攻击生成对抗样本来训练一个抗攻击性更强的神经网络，实验结果表明该方法对于对抗性攻击的鲁棒性有显著提升。

    Nov, 2018

  • 神经动态聚焦主题模型

    本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

    Jan, 2023