Apr, 2024

释放分数阶微积分在图神经网络中的潜力与 FROND

PDF
TL;DR我们介绍了 FROND（FRactional-Order graph Neural Dynamical network），这是一个新的连续图神经网络（GNN）框架，通过使用 Caputo 分数阶导数来利用分数阶微积分的非局部特性，使得该方法能够捕捉长期依赖的特征更新，并提供了在图表示学习中超越传统整数阶模型的增强能力。我们从非马尔科夫随机游走的角度解释了 FROND 中的节点特征更新过程，特别是在特征更新受扩散过程约束时。我们在理论上证明了在这种设置下可以缓解过度平滑的问题。在实验中，我们通过比较各种已建立的整数阶连续 GNN 的分数适应性，验证了 FROND 框架的有效性，并突出了该框架作为增强传统连续 GNN 的有效扩展的潜力。代码可在 https://github.com/zknus/ICLR2024-FROND 获得。
frondfractional-order graph neural dynamical networkcontinuous graph neural networkfractional calculusgraph representation learning
发现论文，激发创造
  • 将图神经网络与分数阶连续动力学耦合：鲁棒性研究

    本研究通过严格的调查研究了图神经分数阶微分方程（FDE）模型的鲁棒性，发现其比整数阶图神经 ODE 模型具有更强的鲁棒性，并在敌对条件下表现出潜力应用。

    Jan, 2024

  • 一种用分数图拉普拉斯算子解决过度平滑问题的方法

    该文研究了图神经网络中过度平滑问题，并针对无向图将其概念推广至有向图，通过引入指向对称规范化拉普拉斯算子并提出分数图拉普拉斯神经 ODE 框架，实现了在节点间传播信息的同时缓解了过度平滑问题，证明了该方法的有效性并在合成和真实世界的有向无向图上进行了广泛实验。

    May, 2023

  • GRAND: 图神经扩散网络

    用连续扩散过程作为图上深度学习的方法，将 Graph Neural Networks (GNNs) 视为潜在 PDE 的离散化，从而得到了一种新的 GNN 模型，该模型采用时空算子离散化，解决了图学习模型中的深度、平滑过渡和瓶颈等问题。通过稳定性分析，可以得到线性和非线性版本的 GRAND 模型，这些模型能够在许多标准图标准测试中取得很好的效果。

    Jun, 2021

  • 在连续图扩散函数空间中重新思考和重新设计图神经网络

    本文提出了一种基于变分分析的归纳偏差方法以增强图神经网络的长距离依赖和全局模式捕捉能力，并采用总变差方法对图扩散模式与社区拓扑进行对齐，最后构建了一种能够预测图中传播流的生成对抗网络。最终，我们的方法在 Cora、Citeseer 和 Pubmed 等著名图学习数据集上实现了最新的性能水平。

    Jul, 2023

  • 图神经反应扩散模型

    我们提出了一种基于神经反应扩散系统的新型图神经网络（RDGNN），它能够对各种数据类型进行建模，从同质性到异质性，以及时空数据集，并且在理论性能和实际表现上优于现有的方法。

    Jun, 2024

  • 连续图神经网络

    本文提出了一种连续图神经网络 (CGNN)，可以广泛应用于现有的离散动态的图神经网络，并能够捕捉节点之间的远距离依赖关系。实验结果表明，相对于竞争基线，该方法在节点分类任务上是有效的，且具有抗过度平滑的特性。

    Dec, 2019

  • 从连续动力学到图神经网络：神经扩散与更多

    图神经网络（GNNs）在建模关系型数据方面表现出显著的潜力，并被广泛应用于各个领域。图神经网络的关键机制是所谓的消息传递，其中信息从邻域迭代地聚合到中心节点。将消息传递过程类比为热扩散动力学可以从根本上理解 GNNs 的优势和局限，并进而指导模型设计。最近，出现了大量使用连续动态学的 GNNs 的作品，旨在解决 GNNs 已知的局限性，如过度平滑和过度压缩。在这项调查中，我们首次系统全面地审查了使用连续动态学视角的研究。为此，我们介绍了适应 GNNs 的连续动态学的基本要素，以及对图神经动力学设计的一般框架。然后，我们根据它们的驱动机制和基础动力学对现有作品进行了回顾和分类。我们还总结了如何在连续框架下解决经典 GNNs 的局限性。最后，我们确定了多个开放的研究方向。

    Oct, 2023

  • 学习在图上近似自适应核卷积

    基于扩散核的扩散学习框架在图神经网络中控制了特征聚合范围，解决了节点级分类和过度平滑化的问题，并具备在阿尔茨海默病分类中实际应用的可行性。

    Jan, 2024

  • 基于减阶建模和图神经网络的混合数值方法用于非参数几何结构动力学问题的应用

    该研究介绍了一种加速复杂物理系统时间域偏微分方程数值分析的新方法，结合经典的降阶建模框架和最近引入的图神经网络，通过对具有不同数值离散化大小的高度异构数据库进行训练，可以处理非参数几何体的广泛范围，提高效率并保持合理的准确性。

    Jun, 2024

  • 图上的广义神经扩散框架

    提出了一个带有准确性项的一般扩散方程框架，从而形式化地建立了扩散过程与更多图卷积网络之间的关系，并通过实验证明了高阶邻居标签之间的相似性特征，推动了新型图扩散网络（HiD-Net）的设计。

    Dec, 2023