用 HL-HGAT 推动图神经网络的发展：一种面向异构图结构数据的 Hodge-Laplacian 和注意机制方法

Mar, 2024

用 HL-HGAT 推动图神经网络的发展：一种面向异构图结构数据的 Hodge-Laplacian 和注意机制方法

Advancing Graph Neural Networks with HL-HGAT: A Hodge-Laplacian and Attention Mechanism Approach for Heterogeneous Graph-Structured Data

PDF

Jinghan Huang, Qiufeng Chen, Yijun Bian, Pengli Zhu, Nanguang Chen...

TL;DR本研究提出了一个新的视角，将图形视为一个单纯复合体，其中包括节点、边、三角形和 k - 单纯形，从而能够在任意 k - 单纯形上定义图结构化数据。我们的贡献是 Hodge-Laplacian 异构图注意网络（HL-HGAT），旨在学习 k - 单纯形间的异构信号表示。HL-HGAT 包括三个关键组件：HL 卷积滤波器（HL-filters）、单纯形投影（SP）和单纯形注意池（SAP）运算符，应用于 k - 单纯形。HL-filters 通过 Hodge-Laplacian（HL）算子编码的 k - 单纯形的独特拓扑性质，在 k-th HL 算子的频谱域内进行运算。为了解决计算挑战，我们引入了 HL-filters 的多项式逼近方法，具有空间定位性质。此外，我们提出了一个池化运算符，通过 transformers 和 SP 运算符的自注意力和跨注意力机制，对 k - 单纯形进行粗化，并通过特征组合来捕获多个维度的单纯形之间的拓扑连接。HL-HGAT 在包括 NP 困难问题、图多标签和分类挑战，以及物流、计算机视觉、生物学、化学和神经科学中的图回归任务中进行了全面评估。结果表明，该模型在处理各种图形场景方面具有高效性和多功能性。

Abstract

graph neural networks (GNNs) have proven effective in capturing relationships among nodes in a graph. This study introduces a novel perspective by considering a graph as a simplicial complex, encompassing nodes,

graph neural networks hodge-laplacian heterogeneous graph attention network k-simplices simplicial complex graph-based scenarios

发现论文，激发创造

SGAT: 简单图注意力网络

本研究提出了一个基于 simplicial complex 的复杂语义表示方法：Simplicial Graph Attention Network (SGAT)，通过将非目标节点的特征放置在简单形上，表示非线性、高阶节点或边缘的交互作用，并使用注意机制和上邻接来生成表示。实验证明，与其他当前最先进的异构图学习方法相比，SGAT 在节点分类任务和提取结构信息方面表现更好。

Jul, 2022

异质图中的方向性邻居注意力表示学习

提出了一种名为 Directional Graph Attention Network (DGAT) 的新型图神经网络结构，利用特征注意力和全局方向信息提高图信息的传播能力，并通过拓扑信息引导的节点剪枝和边添加机制以及新的拉普拉斯矩阵来改善 GAT 存在的局限性，实验证明在真实数据集和合成数据集上，DGAT 在性能上优于传统的 GAT 模型，并在 7 个真实数据集中的 6 个数据集上超越了现有的最先进模型。

Mar, 2024

双曲异质图注意力网络

提出了利用超几何空间和元路径实例学习异构图的向量表示的超几何异构图注意力网络（HHGAT），在三个真实的异构图数据集上的实验证明 HHGAT 在节点分类和聚类任务中优于现有的异构图嵌入模型。

Apr, 2024

稀疏图注意力网络

该论文提出了一种基于 L0 正则化的 Sparse Graph Attention Networks，可以对大规模、复杂的图进行特征聚合，鲁棒性与有效性更高，达到与原始图相同或更高的预测性能；同时，其使用结果可视化和量化表达，让人更加容易理解。

Dec, 2019

单纯注意力网络

本研究提出了一种新型的 Simplicial Attention Networks (SAT) 以及一种签名注意机制，旨在解决目前 Simplicial Neural Networks (SNNs) 在计算效率和适应新结构方面的缺陷，并在图像和轨迹分类任务中表现优异。

Apr, 2022

具有快速特征值逼近的谱图注意力网络

本文提出 Spectral Graph Attention Network 和 SpGAT-Cheby 两种新的基于注意力机制的子图表示学习算法，具备捕捉图形全局特征和更少的学习参数的能力，通过半监督节点分类实验验证了算法的效果。

Mar, 2020

使用同构性在图神经网络中进行监督关注

本文提出了一种改进图注意力网络中节点分类的方法，使其更能准确地区分不同类别的节点，在多个节点分类数据集上得到了较高的表现。

Jul, 2023

可学习的图卷积注意力网络

该研究介绍了图卷积注意力层（CAT）和 GNN 架构（L-CAT），旨在充分利用两种方法的优势并自动插值 GCN，GAT 和 CAT。研究结果表明，在一系列数据集中，L-CAT 能够有效地组合不同的 GNN 层，优于竞争方法，从而减少了交叉验证的需求。

Nov, 2022

广义简单注意力神经网络

介绍了一种名为广义单纯姿态注意力神经网络（GSANs）的新型神经架构，用于处理在单纯复合体上定义的数据，通过掩码自注意力层。利用拓扑信号处理原理，设计了一系列自注意机制，能够处理在不同单纯阶数上定义的数据组件，如节点、边、三角形等。证明了 GSANs 具有置换等变性和单纯意识。在几个任务（归纳和传导）中应用到轨迹预测、缺失数据补全、图分类和单纯预测中，与其他方法相比取得了有利的效果。

Sep, 2023

多尺度 Hodge 散射网络用于数据分析

我们提出了一种新的散射网络，称为多尺度霍奇散射网络（MHSNs），基于多尺度基字典，具有类似于卷积神经网络（CNN）的分层结构，能够提取描述性且稳健的特征，适用于高准确度分类系统，参数较现代图神经网络少。

Nov, 2023