建模连续时间动态的带符号图神经常微分方程
本文介绍了连续深度图神经网络 (GNN) 的框架,将图神经常微分方程 (GDEs) 形式化为 GNN 的对应物,其输入输出关系由一系列 GNN 层的连续融合离散拓扑结构和微分方程来决定,证明了其兼容各种静态和自回归 GNN 模型。结果表明 GDEs 在静态设置中通过在前向传递中将数值方法纳入其中提供了计算优势,在动态设置中,通过利用潜在动态的几何结构性能得到了提高。
Nov, 2019
研究动态图的表示学习,提出了 Graph Neural Controlled Differential Equation (GN-CDE) 模型,通过深度神经网络参量化向量场和交互导数,对节点嵌入轨迹的动态演化进行建模,实现了在动态演化的图上表达动态的能力。
Feb, 2023
我们提出了一种新颖的模型,即图神经随机微分方程(Graph Neural SDEs)。此技术通过使用布朗运动将随机性嵌入数据表示,提升了图神经常微分方程(Graph Neural ODEs),允许评估预测的不确定性,尤其在置信度预测方面超过了常规模型如图卷积网络和图神经常微分方程,使其在处理静态和时空上下文中的超出分布检测方面更加优越。
Aug, 2023
本研究通过严格的调查研究了图神经分数阶微分方程(FDE)模型的鲁棒性,发现其比整数阶图神经 ODE 模型具有更强的鲁棒性,并在敌对条件下表现出潜力应用。
Jan, 2024
该研究论文介绍了一种使用 ODE 的时间序列数据分析方法,提出基于 ODE 的 RNN 模型,可在较短的训练时间内学习具有不规则采样率的连续时间序列,并且计算效率更高、精度更高、设计更简单。
May, 2020
提出一种新型深度神经网络模型 —— 连续深度模型,其采用了一个神经网络来参数化隐藏状态的导数,并利用黑箱微分方程求解器计算网络输出,使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型,能够通过最大似然进行训练,而不需要对数据维度进行分区或排序,并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播,从而实现 ODE 的端到端训练。
Jun, 2018
本文提出了一种名为 TDE-GNN 的模型,它可以捕捉超过典型的一阶或二阶方法的各种时间动力学,并提供了现有时间模型难以处理的用例。通过在几个图形基准上学习时间依赖性,我们证明了使用我们的方法学习时间依赖性而不是使用预定义时间动态的好处。
Jan, 2024
本研究介绍了一个新的神经模型:神经控制微分方程模型,解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题,并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能
May, 2020
本文提出了一种使用动态图神经普通微分方程(MTGODE)来预测多元时间序列的连续模型,旨在解决离散神经网络在捕捉稳定和精确的时空动态时所遇到的困难。我们的实验证明了该方法从多种角度在五个时间序列基准数据集上的超越性。
Feb, 2022
我们提出了一种基于神经反应扩散系统的新型图神经网络(RDGNN),它能够对各种数据类型进行建模,从同质性到异质性,以及时空数据集,并且在理论性能和实际表现上优于现有的方法。
Jun, 2024