Mar, 2024

少即是多：基于跳数的图注意力用于电路的可扩展和通用学习

PDF
TL;DRHOGA 是一种基于注意力机制的模型，能够在大规模、复杂电路问题中可扩展且具有泛化性，通过预先计算节点的逐跳特征并使用门控自注意力模块生成节点表示，自适应地学习不同跳之间的重要特征，因而适应不同电路结构，可在分布式环境下高效训练。在实验证明，与常规图神经网络相比，HOGA 在逻辑综合后的结果质量预测方面减少了 46.76% 的估计误差，在复杂技术映射后的看不见门级网络列表上识别功能块方面，HOGA 的推理准确率提高了 10%，而 HOGA 的训练时间几乎与计算资源的增加成线性关系。
发现论文，激发创造
  • 基于硬核及通道注意力网络的图像表征学习

    本篇论文提出了两种新的图形卷积神经网络中的图形注意力算子，hGAO 和 cGAO，它们分别使用了硬注意力机制和沿通道执行的注意力操作，以提高计算性能和准确性，并在节点和图嵌入任务上取得了显著的改进。

    Jul, 2019

  • 多跳注意力图神经网络

    提出了一种名为 MAGNA 的多跳图神经网络，该网络通过扩散先前层中的注意力分数以增加每一层的感受野，并在节点未直接相连时利用扩散先验的注意值捕获网络上下文信息，实验结果证明该网络在节点分类以及知识图谱完成基准测试上均达到了表现最佳。

    Sep, 2020

  • 用 HL-HGAT 推动图神经网络的发展：一种面向异构图结构数据的 Hodge-Laplacian 和注意机制方法

    本研究提出了一个新的视角，将图形视为一个单纯复合体，其中包括节点、边、三角形和 k - 单纯形，从而能够在任意 k - 单纯形上定义图结构化数据。我们的贡献是 Hodge-Laplacian 异构图注意网络（HL-HGAT），旨在学习 k - 单纯形间的异构信号表示。HL-HGAT 包括三个关键组件：HL 卷积滤波器（HL-filters）、单纯形投影（SP）和单纯形注意池（SAP）运算符，应用于 k - 单纯形。HL-filters 通过 Hodge-Laplacian（HL）算子编码的 k - 单纯形的独特拓扑性质，在 k-th HL 算子的频谱域内进行运算。为了解决计算挑战，我们引入了 HL-filters 的多项式逼近方法，具有空间定位性质。此外，我们提出了一个池化运算符，通过 transformers 和 SP 运算符的自注意力和跨注意力机制，对 k - 单纯形进行粗化，并通过特征组合来捕获多个维度的单纯形之间的拓扑连接。HL-HGAT 在包括 NP 困难问题、图多标签和分类挑战，以及物流、计算机视觉、生物学、化学和神经科学中的图回归任务中进行了全面评估。结果表明，该模型在处理各种图形场景方面具有高效性和多功能性。

    Mar, 2024

  • 双曲异质图注意力网络

    提出了利用超几何空间和元路径实例学习异构图的向量表示的超几何异构图注意力网络（HHGAT），在三个真实的异构图数据集上的实验证明 HHGAT 在节点分类和聚类任务中优于现有的异构图嵌入模型。

    Apr, 2024

  • GaAN: 基于门控注意力的大规模时空图学习网络

    该文提出了一种新的网络架构 —— 门控注意力网络（GaAN），用于学习图形。该架构使用卷积子网络来控制每个注意力头的重要性，证明了其在归纳节点分类问题和交通速度预测问题上的有效性，并在三个真实世界数据集上取得了最先进的结果。

    Mar, 2018

  • DAGCN: 双重注意力图卷积网络

    本研究提出了一种新的框架，双注意力图卷积网络，用于解决图分类任务中邻域汇聚和池化操作的问题，并通过实验比较证明了该模型优于其他基线模型和深度学习方法。

    Apr, 2019

  • 高阶图神经网络揭秘

    高阶图神经网络（HOGNNs）是一类重要的 GNN 模型，能够利用顶点之间的多系关系来解决过度平滑或过度压缩等问题，显著提高 GNN 预测准确性，改进 GNN 架构，并能帮助选择最适合特定场景的 GNN 模型，提出了具有挑战与机遇的 HOGNN 进一步研究的全面列表。

    Jun, 2024

  • 双层注意力图神经网络

    本文提出了一种可扩展的 Bi-Level Aufmerksamkeitsgraph-neuronale Struktur (BA-GNN)，该结构使用新的双层图注意机制，以从局部邻域上下文中层次化地注意来自本地邻域上下文的节点 - 节点和关系 - 关系交互，该方法用于有效建模多关系和多实体的大规模异构图。该方法被证明在七个真实世界的异构图上表现良好，并显示了学习到的关系 - 级别注意力的质量和可转移性，在提高其他 GNN 性能方面也得到应用。

    Apr, 2023

  • 异质图中的方向性邻居注意力表示学习

    提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构，利用特征注意力和全局方向信息提高图信息的传播能力，并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性，实验证明在真实数据集和合成数据集上，DGAT 在性能上优于传统的 GAT 模型，并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。

    Mar, 2024

  • Hyper-SAGNN: 一种基于自注意力的超图神经网络

    本文介绍了一种新的基于自注意力机制的图神经网络 Hyper-SAGNN，可用于不同类型的超图及其不同的学习任务，包括各种基准网络数据集以及基因组学中的单细胞 Hi-C 数据集。该模型在传统任务上优于现有模型，在新任务 “outsider identification” 上表现优异。

    Nov, 2019