ACLNov, 2017

深度时间循环复制 Softmax 在时序话题趋势中的应用

PDF
TL;DR本文提出了一种新的无监督神经动态主题模型 ——RNNRSM，该模型有利于在时间序列文档集合中识别主题趋势，并引入了一个用于量化模型捕捉单词演变的指标 SPAN。通过对 19 年 NLP 研究文章的应用，与现有主题模型相比，RNNRSM 表现出更好的泛化性、主题解释性、演化和趋势性。
发现论文，激发创造
  • TopicRNN: 一种具有长程语义依赖的循环神经网络

    本文提出了基于 TopicRNN 的语言模型，它结合了 RNN 和潜在主题模型的优点，能够捕捉本地（句法）和全局（语义）依赖关系，并更好地预测单词。实证结果表明，TopicRNN 在单词预测方面优于现有的上下文 RNN 基线，并且可以作为无监督特征提取器用于情感分析。

    Nov, 2016

  • 神经动态聚焦主题模型

    本文提出了一种基于神经组态推断的动态聚焦主题模型，该模型能够跟踪主题的出现情况以及活跃度，并在各种任务中实现了比其他主题模型更好的泛化能力和类似的预测能力。

    Jan, 2023

  • ANTM: 基于对齐的神经主题模型用于探索快速演化的话题

    本文介绍了 Aligned Neural Topic Model（ANTM）, 一种动态神经主题模型，它使用文本嵌入来计算不同时间段内的语义相似文档的集群，并对齐文档集群以表示其演变。实验证明 ANTM 在主题相干性和多样性方面均优于其他模型。

    Feb, 2023

  • TAN-NTM：用于神经主题建模的主题注意力网络

    提出了一种名为 TAN-NTM 的框架，该框架使用一种新颖的注意力机制，即关注主题相关线索的单词，将文档作为一个标记序列进行处理。该模型发现，利用主题 - 单词分布来学习更好的特征已经没有得到很好的利用，尝试提出一种提高这种探讨的框架。在 20Newsgroups、Yelp Review Polarity 和 AGNews 等基准数据集上，相对于现有 SOTA 主题模型的 NPMI 一致性得分，我们进行了大量的削减和实验，结果证明我们的方法可以获得～9-15％的改善。此外，我们还证明了与现有一些主题模型相比，我们的方法通过潜在文档主题特征的提高，在文档分类和主题引导关键词生成等两个下游任务上表现更好。

    Dec, 2020

  • textTOvec: 深度上下文化的神经自回归主题模型，采用分布式组合先验

    本文提出了一种名为 ctx-DocNADE 的新颖的神经自回归主题模型，将 TM 和 LM 的两种学习词出现意义的学习范例组合在一起，通过嵌入词静态信息的输入，显著改善了小语料库和短文本中的词 - 主题映射，并在不同领域的 6 个长文本和 8 个短文本数据集上展示出了优越的泛化能力、可解释性和适用性。

    Oct, 2018

  • 主题组成神经语言模型

    我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

    Dec, 2017

  • 基于空间增强和动态图卷积网络的科学论文研究趋势预测

    利用深度学习神经网络结合 GCN 和 TCN 的卷积网络模型提出一种基于历史数据的科研主题热度预测算法，通过捕捉主题之间的空间依存性和时间变化关系， 实现对未来研究热点的有效预测。

    Mar, 2022

  • 走向神经主题表示的泛化

    提出了一种通过模型相似度来改进神经主题模型的方法，利用数据增强和层次化主题传输距离来计算文档之间的语义距离，从而显著提高神经主题模型在不同语料库中的泛化能力。

    Jul, 2023

  • 无向主题模型的高效学习

    本文提供一种新的估算方法，用于加速基于 Noise Contrastive Estimate 的学习，以处理长度和加权输入不同的文档，实验表明该方法在文档检索和分类方面具有高效率和高准确性。

    Jun, 2015

  • 融合文档关系图的神经主题建模

    本文介绍了一种名为 Graph Topic Model (GTM) 的基于图形神经网络 (GNNs) 的神经主题模型，通过信息交互捕捉图形节点之间的关系，将文档和词汇转化成为图中的节点，并根据共现性连接，通过图卷积汇聚邻居节点信息从而通过共享单词在文档之间建立关系，扩充了文档的主题的表达方式。研究者还基于三个数据集开展了广泛的实验，其结果证明了这种方法的有效性。

    Sep, 2020