Dec, 2023

一种求解图神经扩散网络的电荷保持方法

PDF
TL;DR这篇论文旨在对基于图神经网络（GNNs）模型的扩散问题进行系统的数学解释。我们的方法的出发点是一个耗散性函数，导致了动力学方程，从而使我们能够研究模型的对称性。我们讨论了守恒荷和一种保持荷守恒的数值方法来求解动力学方程。在任何动力学系统以及图神经扩散（GRAND）中，了解荷值及其在演化过程中的守恒情况可以帮助我们理解 GNNs 和其他网络的学习能力。
diffusion problemgraph neural networksdynamical equationsconserved chargescharge-preserving numerical method
发现论文，激发创造
  • 深度图神经网络的可逆和不可逆基于括号的动力学

    本篇论文介绍了一些基于保结构动力系统的创新图神经网络结构，其中证明了这些结构能够保能量或随深度逐渐产生正的耗散。这一理论框架为可解释的构建提供了可能，并在阐明了可逆性和不可逆性在网络性能中的作用的同时，帮助解释了当前网络架构中的理论离题。

    May, 2023

  • 图神经反应扩散模型

    我们提出了一种基于神经反应扩散系统的新型图神经网络（RDGNN），它能够对各种数据类型进行建模，从同质性到异质性，以及时空数据集，并且在理论性能和实际表现上优于现有的方法。

    Jun, 2024

  • GRAND: 图神经扩散网络

    用连续扩散过程作为图上深度学习的方法，将 Graph Neural Networks (GNNs) 视为潜在 PDE 的离散化，从而得到了一种新的 GNN 模型，该模型采用时空算子离散化，解决了图学习模型中的深度、平滑过渡和瓶颈等问题。通过稳定性分析，可以得到线性和非线性版本的 GRAND 模型，这些模型能够在许多标准图标准测试中取得很好的效果。

    Jun, 2021

  • 从连续动力学到图神经网络：神经扩散与更多

    图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

    Oct, 2023

  • 图上的广义神经扩散框架

    提出了一个带有准确性项的一般扩散方程框架，从而形式化地建立了扩散过程与更多图卷积网络之间的关系，并通过实验证明了高阶邻居标签之间的相似性特征，推动了新型图扩散网络（HiD-Net）的设计。

    Dec, 2023

  • 图神经聚合 - 扩散与亚稳态

    基于微分方程的连续图神经模型拓展了图神经网络的架构，通过聚合 - 扩散方程启发的 GRADE 模型在非线性扩散和聚合之间找到了一种微妙的平衡，通过产生亚稳态节点表示聚集成多个聚类，从而缓解了过度平滑的问题，该模型达到了竞争性的性能，证明了其在图神经网络中减轻过度平滑问题的作用。

    Mar, 2024

  • GREAD：图神经反应 - 扩散网络

    本研究提出了一种名为 GREAD 的基于反应扩散方程的 GNN 方法，它考虑了所有流行的反应类型以及我们设计的一种特殊反应方程。在 9 个数据集和 28 个基线的实验中，我们的方法在大多数情况下都优于它们。进一步的合成数据实验表明，它缓解了过度平滑问题，并可用于各种同质化率。

    Nov, 2022

  • 在连续图扩散函数空间中重新思考和重新设计图神经网络

    本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

    Jul, 2023

  • 利用赝哈密顿神经网络学习偏微分方程

    本文将伪哈密顿神经网络方法扩展到偏微分方程，生成包含三个神经网络的模型，分别模拟代表守恒、耗散和外力的项，并包括可学习的离散卷积算子，数值结果表明 PHNN 的卓越性能。此外，由于 PHNN 模型由三个有不同物理解释的部分组成，反演时可以分别研究每个部分，具有良好的泛化能力。

    Apr, 2023

  • 图神经网络作为梯度流：通过能量理解图卷积

    将 Gradient flows 用于 Graph Neural Networks 的形式体系上，提供了一种物理学启发式的解释：将 GNN 视为 “在特征空间中学习粒子动力学”，并证明了正 / 负特征通道混合矩阵的特征值对应相邻特征之间的引力 / 排斥力，这使得 GNN 能够处理不同特征的异质性图。

    Jun, 2022