Jun, 2021

GRAND: 图神经扩散网络

PDF
TL;DR用连续扩散过程作为图上深度学习的方法，将 Graph Neural Networks (GNNs) 视为潜在 PDE 的离散化，从而得到了一种新的 GNN 模型，该模型采用时空算子离散化，解决了图学习模型中的深度、平滑过渡和瓶颈等问题。通过稳定性分析，可以得到线性和非线性版本的 GRAND 模型，这些模型能够在许多标准图标准测试中取得很好的效果。
graph neural diffusiondeep learninggraph neural networkspdegraph benchmarks
发现论文，激发创造
  • GRAND+: 可扩展的图形随机神经网络

    该论文提出了一种可扩展和高性能的图嵌入算法 GRAND+，并包含了推广前推（GFPush）算法和置信一致性损失来提高其准确性和泛化能力。实验结果表明，GRAND + 可以扩展到大型图并比现有的可扩展 GNNs 具有更少的运行时间和更高的准确性。

    Mar, 2022

  • 图神经常微分方程

    本文介绍了连续深度图神经网络 (GNN) 的框架，将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物，其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定，证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势，在动态设置中，通过利用潜在动态的几何结构性能得到了提高。

    Nov, 2019

  • 连续几何感知图扩散：超几何神经偏微分方程

    通过将深度视为连续时间嵌入演化的方法，我们在本文中解耦了超椭圆图神经网络 (HGNN) 并将信息传播重新构造为偏微分方程 (Partial Differential Equation, PDE)，让节点注意力承担超椭圆神经 PDE (Hyperbolic Neural PDE, HPDE) 中的传导性作用。通过引入理论原则，如非欧几里得流形上的场和流、梯度、散度和传导性，我们讨论了用于形成数值 HPDE 解算器的隐式和显式离散化方案。进一步，我们提出了超椭圆图扩散方程 (Hyperbolic Graph Diffusion Equation, HGDE) - 这是一个灵活的矢量流函数，它可以集成以获得表达力强的超椭圆节点嵌入。通过分析嵌入的潜在能量衰减，我们证明了 HGDE 能够模拟低阶和高阶近邻关系，并具有局部 - 全局传导函数的好处。节点分类和链路预测以及图像 - 文本分类任务的实验证明了所提方法的优越性，其性能始终显著优于各种竞争模型。

    Jun, 2024

  • 从连续动力学到图神经网络：神经扩散与更多

    图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

    Oct, 2023

  • 图神经反应扩散模型

    我们提出了一种基于神经反应扩散系统的新型图神经网络（RDGNN），它能够对各种数据类型进行建模，从同质性到异质性，以及时空数据集，并且在理论性能和实际表现上优于现有的方法。

    Jun, 2024

  • 图神经扩散网络用于半监督学习

    GND-Nets, a new graph neural network that exploits local and global neighborhood information, is proposed to mitigate the over-smoothing and under-smoothing problems of Graph Convolutional Networks, using a new graph diffusion method called neural diffusions, which integrate neural networks into the conventional linear and nonlinear graph diffusions.

    Jan, 2022

  • 连续图神经网络

    本文提出了一种连续图神经网络 (CGNN)，可以广泛应用于现有的离散动态的图神经网络，并能够捕捉节点之间的远距离依赖关系。实验结果表明，相对于竞争基线，该方法在节点分类任务上是有效的，且具有抗过度平滑的特性。

    Dec, 2019

  • 在连续图扩散函数空间中重新思考和重新设计图神经网络

    本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

    Jul, 2023

  • 图神经聚合 - 扩散与亚稳态

    基于微分方程的连续图神经模型拓展了图神经网络的架构，通过聚合 - 扩散方程启发的 GRADE 模型在非线性扩散和聚合之间找到了一种微妙的平衡，通过产生亚稳态节点表示聚集成多个聚类，从而缓解了过度平滑的问题，该模型达到了竞争性的性能，证明了其在图神经网络中减轻过度平滑问题的作用。

    Mar, 2024

  • 学习在图上近似自适应核卷积

    基于扩散核的扩散学习框架在图神经网络中控制了特征聚合范围，解决了节点级分类和过度平滑化的问题，并具备在阿尔茨海默病分类中实际应用的可行性。

    Jan, 2024