图神经常微分方程

AAAINov, 2019

Graph Neural Ordinary Differential Equations

Michael Poli, Stefano Massaroli, Junyoung Park, Atsushi Yamashita, Hajime Asama...

TL;DR本文介绍了连续深度图神经网络 (GNN) 的框架，将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物，其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定，证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势，在动态设置中，通过利用潜在动态的几何结构性能得到了提高。

Abstract

We introduce the framework of continuous--depth graph neural networks (GNNs). graph neural ordinary differential equations (GDEs) are formalized as the counterpart to GNNs where the input-output relationship is determined by a continuum of GNN layers, blending discrete topological stru

continuous-depth graph neural networks graph neural ordinary differential equations static and autoregressive gnn models numerical methods geometry of the underlying dynamics

发现论文，激发创造

关于微分方程启发的图神经网络的时域

本文提出了一种名为 TDE-GNN 的模型，它可以捕捉超过典型的一阶或二阶方法的各种时间动力学，并提供了现有时间模型难以处理的用例。通过在几个图形基准上学习时间依赖性，我们证明了使用我们的方法学习时间依赖性而不是使用预定义时间动态的好处。

Jan, 2024

图神经随机微分方程

我们提出了一种新颖的模型，即图神经随机微分方程（Graph Neural SDEs）。此技术通过使用布朗运动将随机性嵌入数据表示，提升了图神经常微分方程（Graph Neural ODEs），允许评估预测的不确定性，尤其在置信度预测方面超过了常规模型如图卷积网络和图神经常微分方程，使其在处理静态和时空上下文中的超出分布检测方面更加优越。

Aug, 2023

使用神经控制微分方程学习动态图嵌入

研究动态图的表示学习，提出了 Graph Neural Controlled Differential Equation (GN-CDE) 模型，通过深度神经网络参量化向量场和交互导数，对节点嵌入轨迹的动态演化进行建模，实现了在动态演化的图上表达动态的能力。

Feb, 2023

图神经反应扩散模型

我们提出了一种基于神经反应扩散系统的新型图神经网络（RDGNN），它能够对各种数据类型进行建模，从同质性到异质性，以及时空数据集，并且在理论性能和实际表现上优于现有的方法。

Jun, 2024

神经常微分方程

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

GrADE: 基于图形的数据驱动时变非线性偏微分方程求解器

本论文中，我们提出了一个名为 “GrADE” 的新颖框架，以解决非线性偏微分方程的时间依赖性问题，该框架包括 FNN（fully connected neural network）和 Graph Neural Network 以及最近开发的神经 ODE 框架，并使用注意机制来增强其性能。我们将更多的重量分配给重要的输入特征。同时，该框架还使用了 O (1) 常数内存的神经 ODE 框架，提高了速度。我们还提出了深度精炼技术，以更快、更准确地训练该框架，仿真结果表明该框架在解决 PDE 建模的问题上表现卓越。

Aug, 2021

建模连续时间动态的带符号图神经常微分方程

我们提出了一种新颖的方法：带有符号图神经常微分方程，巧妙地解决了误捕获符号信息的局限性。我们的方法在动态建模中显示出显著的性能提升，通过物理学、生物学领域的三个复杂动态场景以及四个真实世界交通数据集的验证结果，明显优于三种基准模型。

Dec, 2023

神经微分方程

神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

Feb, 2022

基于图神经网络控制微分方程的交通预测

本文提出了一种基于神经网络控制微分方程的时空图神经控制微分方程（STG-NCDE）方法，将 NCDA 概念应用于时空序列数据的处理中，实验表明该方法在交通预测中表现良好且优于其他 20 种基准模型。

Dec, 2021

基于神经常微分方程的循环神经网络模型

该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

May, 2020