EMNLPSep, 2020

融合文档关系图的神经主题建模

PDF
TL;DR本文介绍了一种名为 Graph Topic Model (GTM) 的基于图形神经网络 (GNNs) 的神经主题模型，通过信息交互捕捉图形节点之间的关系，将文档和词汇转化成为图中的节点，并根据共现性连接，通过图卷积汇聚邻居节点信息从而通过共享单词在文档之间建立关系，扩充了文档的主题的表达方式。研究者还基于三个数据集开展了广泛的实验，其结果证明了这种方法的有效性。
发现论文，激发创造
  • 利用主题感知图神经网络增强抽取式文本摘要

    本文提出了基于图神经网络（GNN）的抽取式摘要模型，并整合了深度神经主题模型（NTM）来发现潜在主题，从而提供句子选择的文档级特征，实验结果表明，我们的模型在 CNN/DM 和 NYT 数据集上取得了最先进的结果，在由较长文档组成的科学论文数据集上也明显优于现有方法，进一步研究表明，主题信息可以帮助模型从整个文档中预先选择凸显内容，因此能够有效地摘要长文档。

    Oct, 2020

  • 图形语言模型

    图形语言模型（GLM）集成了线性文本模型（LM）和图神经网络（GNN）的优点，同时减轻它们的弱点，在有监督和零样本情况下，在概念网络的关系分类任务上超过了基于 LM 和 GNN 的基线。

    Jan, 2024

  • G2T：基于预训练语言模型和社区检测的主题建模简单通用框架

    本文提出了一种名为图向话题（G2T）的框架，该框架能够使用预训练语言模型获取文档表示，并通过语义图和社区检测等方法进行主题建模。自动评估结果表明，G2T 在英文和中文文档上均取得了最优表现，并且比基线模型产生了更好的可解释性和覆盖范围。

    Apr, 2023

  • 神经机器翻译的文档图

    利用图形化表示法将文档作为全局语境，并将其整合到传统的变压器架构中，结合多种关系，包括邻接，句法依赖，词汇一致性和指代，能够显著提高神经机器翻译的性能。

    Dec, 2020

  • 文档网络的分层关系模型

    本文提出了一种关系主题模型，可以用于文档网络的摘要、链接预测和内部词汇预测等方面，并基于变分方法构建了高效的推断和估计算法。

    Sep, 2009

  • 具有排序敏感性和语义感知能力的主题建模

    本文提出了一种高斯混合神经主题模型（GMNTM），该模型将单词的顺序和句子的语义意义同时纳入了主题建模，实验结果表明，相比现有的主题建模方法，GMNTM 在困惑度、检索准确性和分类准确性方面获得了显著的改进。

    Feb, 2015

  • 图神经网络如何帮助文档检索：以 CORD19 为例，涉及概念地图生成的案例研究

    在大规模跨学科数据集 CORD-19 上进行实证研究，结果表明我们提出的面向语义的图形函数可以通过 BM25 检索的候选项达到更好和更稳定的性能，这可以作为未来开发文档检索和分类等文本推理任务的有效图神经网络的指导。

    Jan, 2022

  • GINopic：基于图同构网络的主题建模

    通过使用基于图同构网络的 GINopic 主题建模框架，我们展示了其相对现有主题模型的有效性，并突出了其推进主题建模的潜力。

    Apr, 2024

  • 主题组成神经语言模型

    我们提出了一个名为 TCNLM 的话题组成神经语言模型，它通过神经话题模型来学习文档的全局语义连贯性，并通过混合专家语言模型来学习本地单词顺序结构，同时使用矩阵分解方法使模型更高效地训练，可生成有意义的话题和句子。

    Dec, 2017

  • 图结构主题神经网络

    本文提出了 GraphSTONE，一种基于 GCN 模型的结构话题神经网络，利用图的主题模型，从概率角度捕获广泛的指示性图结构。同时，通过设计多视图 GCN 统一节点特征和结构主题特征，并利用结构主题来指导聚合，从而达到高效和可解释性。

    Jun, 2020