EMNLPNov, 2020

以少胜多：利用超图注意力网络进行归纳文本分类

PDF
TL;DR本论文提出了一种基于超图注意力网络的模型 ——HyperGAT，旨在解决文本分类中词语高阶交互捕捉问题和处理大型数据集和新文档的问题，并在多个基准数据集上进行了广泛的实验证明了该方法的有效性。
text classificationgraph neural networkshypergraph attention networksexpressive powercomputational consumption
发现论文，激发创造
  • 每个文档都有其结构：通过图神经网络进行归纳文本分类

    本文介绍了一种基于图神经网络的新方法 TextING，可用于词嵌入和归纳文本分类，并在四个基准数据集上进行了实验，取得了超过现有文本分类方法的优异成果。

    Apr, 2020

  • 图注意力网络

    本文提出新颖的神经网络结构图注意力网络（GATs），利用掩码的自我关注层处理图结构化数据的缺点，有效提出解决谱学派图神经网络中的几个关键挑战的方法，并在四个数据集上取得了最先进的结果。

    Oct, 2017

  • 使用同构性在图神经网络中进行监督关注

    本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

    Jul, 2023

  • 图注意力网络的注意力有多聚焦？

    该研究介绍了 Graph Attention Networks (GATs) 架构，它们被认为是最先进的图形表示学习架构之一，但存在限制性静态注意力机制，限制了它们在表达简单图形问题方面的能力；因此，提出了一种动态图形注意力变量 GATv2，相对于 GAT 更具表现力。

    May, 2021

  • 稀疏图注意力网络

    该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

    Dec, 2019

  • 图注意力回顾

    本文针对图神经网络进行多个实验，并研究其在节点分类问题中的理论表现。研究结果指出，图注意力机制可以区分类内和类间边缘，重要边的权重得以保留，进而实现完美的节点分类。

    Feb, 2022

  • InducT-GCN: 用于文本分类的归纳式图卷积网络

    本研究提出了一种新颖的归纳图卷积网络框架 InducT-GCN（InducTive Graph Convolutional Networks for Text classification），用于无额外资源和有限训练数据情况下的归纳图文本分类，通过仅基于训练文档的统计信息构建图并在测试期间进行单向 GCN 传播，与传统感性学习模型相比，InducT-GCN 在五个文本分类基准测试中表现出更好的性能。

    Jun, 2022

  • 基于知识图谱和改进注意力机制的文本分类

    为了解决文本中的语义模糊问题，我们提出了一个模型，创新地将知识图谱与改进的注意机制结合起来。该模型在字符和词级别上运作，通过集成概念来加深对文本的理解。我们首先采用信息增益选择重要词，然后采用编码器 - 解码器框架对文本及相关概念进行编码。本地注意机制调整每个概念的权重，在分类过程中减少不相关或噪声概念的影响。我们改进了本地自注意机制中注意分数的计算公式，确保文本中不同频率出现的词语获得更高的注意分数。最后，该模型采用了双向门控循环单元（Bi-GRU），从文本中提取特征以提高分类准确性。该模型在 AGNews、Ohsumed 和 TagMyNews 等数据集上达到了 75.1%、58.7% 和 68.5% 的准确率，展示了其在分类任务中的有效性。

    Jan, 2024

  • 面向小型稀疏图结构的图注意力网络在汽车应用中的优化与解释

    本文探讨了基于图注意网络的 GATv2 在小型稀疏图结构中可能遇到的一些优化问题，并提出了改进的解决方案和方法，通过实验结果验证改进后的模型方案在节点级别回归任务中表现更好，同时提高了参数初始化的鲁棒性，并对其解释性进行了分析，以此来深入了解注意力机制。

    May, 2023

  • 图神经网络中注意力和泛化的理解

    本研究关注于图神经网络中节点的注意力机制及其效果影响，特别地，对比研究了图同构网络，在设计出一系列简单的图推理任务后，研究发现在典型环境下注意力的作用微乎其微，甚至有害作用，但在某些条件下可以大幅度提高分类性能达到 60% 以上。为了实现这些条件，通常需要在初始化或监督训练注意力方面下功夫，并提出了一种弱监督训练注意力的方法，实现效果与有监督学习基本一致，比无监督学习在多个数据集上都要好。

    May, 2019