图上的广义神经扩散框架
本研究提出了一种名为 GREAD 的基于反应扩散方程的 GNN 方法，它考虑了所有流行的反应类型以及我们设计的一种特殊反应方程。在 9 个数据集和 28 个基线的实验中，我们的方法在大多数情况下都优于它们。进一步的合成数据实验表明，它缓解了过度平滑问题，并可用于各种同质化率。
Nov, 2022
图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。
Oct, 2023
我们提出了一种基于神经反应扩散系统的新型图神经网络（RDGNN），它能够对各种数据类型进行建模，从同质性到异质性，以及时空数据集，并且在理论性能和实际表现上优于现有的方法。
Jun, 2024
图扩散方程与图神经网络紧密相关，并近期引起关注，作为一种分析图神经网络动态、形式化其表达能力并证明架构选择的原则性框架。本文通过探索图扩散方程在不同图拓扑存在下的外推与概括能力，向理解图神经网络的泛化能力迈出了一步。在现有基于图局部扩散的模型中，我们首先展示了其泛化能力的不足之处，这源于对拓扑变化的指数敏感性。随后的分析揭示了非局部扩散的潜力，它提倡在具有特定数据生成条件的情况下，通过在完全连接的潜在图上进行特征传播。除了这些发现，我们提出了一种新颖的图编码器骨干，即 Advective Diffusion Transformer (ADiT)，它受到具有封闭形式解和理论保证的 Advective 图扩散方程的启发，在拓扑分布转移情况下具有期望的泛化能力。这个新模型作为一种多功能图 Transformer，在各种图学习任务中展现出卓越的表现。
Oct, 2023
本文提出了一种新颖的图神经网络，利用卷积扩散方程（CDE）建模节点上的信息流，考虑到异质性和同质性对信息的影响，通过在异质性图上的节点分类任务的实验证明，我们的框架可以取得竞争性的性能。
May, 2023
提出使用渐进扩散差距的方法进行跳跃的扩散 - hops exploration，从而产生更具有动态支持的结构过滤器，建议用 Dirichlet 问题作为一种方法来在异类亲缘而不相关的标签分布的情况下学习逐段平滑的积淀空间，并使用 (可学习的) 渐进扩散距离、吸收随机漫步和 (具有可学习性) 随机扩散进行链接探索。
Jun, 2023
本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。
Jul, 2023
本文提出了一种基于神经平均场动力学的新型学习框架，用于解决网络扩散的推理和估计问题，该框架利用 Mori-Zwanzig 形式主义从节点感染概率的精确演化获得，形 成一个高度结构化和可解释的 RNN，可用于联合学习扩散网络的结构和感染概率的演化，这是影响最大化等重要下游应用的基石。此外，本文还建立了参数学习和最优控制之间的联系。实证研究表明，我们的方法具有多样性和鲁棒性，可以在合成数据和真实世界数据上显著优于现有方法的准确性和效率。
Jun, 2020
通过将深度视为连续时间嵌入演化的方法，我们在本文中解耦了超椭圆图神经网络 (HGNN) 并将信息传播重新构造为偏微分方程 (Partial Differential Equation, PDE)，让节点注意力承担超椭圆神经 PDE (Hyperbolic Neural PDE, HPDE) 中的传导性作用。通过引入理论原则，如非欧几里得流形上的场和流、梯度、散度和传导性，我们讨论了用于形成数值 HPDE 解算器的隐式和显式离散化方案。进一步，我们提出了超椭圆图扩散方程 (Hyperbolic Graph Diffusion Equation, HGDE) - 这是一个灵活的矢量流函数，它可以集成以获得表达力强的超椭圆节点嵌入。通过分析嵌入的潜在能量衰减，我们证明了 HGDE 能够模拟低阶和高阶近邻关系，并具有局部 - 全局传导函数的好处。节点分类和链路预测以及图像 - 文本分类任务的实验证明了所提方法的优越性，其性能始终显著优于各种竞争模型。
Jun, 2024