Oct, 2022

MGNNI: 带隐式层的多尺度图神经网络

PDF
TL;DR本文介绍和证明了隐式图神经网络存在的两个弱点：他们的限制表达能力由于他们对捕获长程依赖性的有效范围有限以及他们无法在多个分辨率上对图进行多尺度信息建模。为了缓解这些弱点，我们提出了一种带有隐式层次的多尺度图神经网络 (MGNNI)，它能够模拟图的多尺度结构，具有更广泛的有效范围，能够捕获长程依赖性，并且在节点分类和图分类方面，我们进行了全面的实验来表明 MGNNI 优于代表性基准，并具有更好的多尺度建模和捕获长程依赖性的能力。
implicit graph neural networkslong-range dependenciesmultiscale informationeffective rangegraph classification
发现论文，激发创造
  • 隐式图神经网络

    本文提出了一种名为 “Implicit Graph Neural Networks（IGNN）” 的图学习框架，其利用 Perron-Frobenius 理论来确保该框架的良好性，并利用隐式微分得到一种可行的投影梯度下降法来训练该框架，实验证明 IGNN 可以稳定捕捉长程依赖并优于现有的 GNN 模型。

    Sep, 2020

  • 统一标签输入图神经网络和深度平衡模型

    本文介绍了一种名为 Implicit GNN 的理论框架，能够通过只迭代网络一次但起始状态随机遮蔽的方式来优化无限传播的长距离标签，并将这种改进扩展到了复杂网络和大规模图上，实验结果证明其性能优于其他方法。

    Nov, 2022

  • EIGNN: 高效的无限深度图神经网络

    本篇论文提出了一种使用无限深度的图神经网络模型 ——Efficient Infinite-Depth Graph Neural Networks (EIGNN) 来有效捕获底层图中的长程依赖性，同时可以使用特征值分解来实现更有效的计算。实验结果表明，该模型在捕获长程依赖性方面比现有模型表现更好，并且在不同噪声和对节点特征的对抗扰动下表现更为鲁棒。

    Feb, 2022

  • 高效有效的隐式动态图神经网络

    Implicit Dynamic Graph Neural Network (IDGNN) 是一种针对动态图的新型隐式神经网络模型，通过提出一个等价的双层优化问题和一种高效的单循环训练算法来克服计算上的困难，以在分类和回归任务中展现出优于现有模型的性能，并在性能保持的同时获得高达 1600 倍的加速。

    Jun, 2024

  • 通过迭代同质图神经网络实现规模不变的图相关问题求解

    通过引入适应计算进程的学习终止机制和具有通用同态函数逼近器的同态转换层，从构造图论程序的角度出发，针对当前图神经网络在解决多个图分析问题时规模（图大小、图直径、边权重等）的泛化性不足问题提出了几种扩展方法，实验结果表明该方法在小规模图上训练，但是对于大规模图也具有很好的泛化性。

    Oct, 2020

  • 多功能基于图的稀疏实现层

    本文介绍了一种稀疏实现的图信息层，以提高图神经网络的计算效率和可伸缩性，通过利用邻接矩阵的稀疏性来显著减少内存使用，同时引入了一种灵活的通用形式的图信息层，使其适用于图节点的子集。

    Mar, 2024

  • 一个模型无关的图神经网络用于整合局部和全局信息

    我们提出了一个新的模型无关的图神经网络（MaGNet）框架，能够顺序地集成不同顺序的信息，从高阶邻居中提取知识，并通过识别有影响力的紧凑图结构来提供有意义、可解释的结果。理论上，我们通过经验 Rademacher 复杂性建立了 MaGNet 的泛化误差界，并展示了它在表示逐层邻域混合方面的能力。使用模拟数据进行了全面的数值研究，证明了 MaGNet 相对于几种最先进的替代方法的卓越性能。此外，我们将 MaGNet 应用于一个从脑活动数据中提取关键信息的实际案例研究，从而突显了它在推动科学研究方面的有效性。

    Sep, 2023

  • 利用多尺度图神经网络模拟连续介质力学

    MultiScaleGNN 是一种新型的多尺度图神经网络模型，用于学习推断非稳态连续力学，可以推断具有不同尺度空间分辨率的系统状态，推断速度比传统方法快两至四个数量级。

    Jun, 2021

  • MuseGNN：可解释且收敛的大规模图神经网络层

    对于使用激活函数迭代降低能量函数的图神经网络 (GNN) 模型中的数据建模处理，本研究提出了一种基于采样的能量函数和可扩展的 GNN 层，以克服模型深度带来的挑战，并在最大的公开节点分类基准测试超过 1TB 大小的情况下，实现了较高的准确性和可扩展性。

    Oct, 2023

  • 分级消息传递图神经网络

    提出了一种新的 Hierarchical Message-passing Graph Neural Networks 框架，通过生成 hierarchical structure，并采用 inra- 和 inter-level propagation manners 以及 hierarchical community detection algorithm，实现了对长程信息的高效访问，从而在节点分类、社区检测等任务中优于现有基于 GNN 的模型。

    Sep, 2020