从傅立叶到神经常微分方程:用于建模复杂系统的流匹配
本文提出通过直接建模解曲线流和神经网络,消除昂贵的数值解算器,提高神经 ODE 的建模能力,并提供几种适用于不同应用场景的流体结构,从而提高计算效率和一致性。应用于时间序列建模、预测和密度估计,取得了良好的泛化性能。
Oct, 2021
神经常微分方程(NODEs)是基于常微分方程的深度学习中最具影响力的作品之一,它不断推广残差网络,并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语,称为分支傅里叶神经算子(BFNO),在各种下游任务中,我们的方法明显优于现有方法。
Dec, 2023
提出了一种名为 GAINS 的分析框架,它结合了三个关键思想,基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法,可以有效分析高维 NODEs 和提供保证,并将运行时从指数级降至线性对数阶,通过在计算机视觉和时间序列预测问题上的大量评估,证明了该方法的有效性。
Mar, 2023
提出了一种数据驱动的积分方法,称为 Taylor-Lagrange NODEs (TL-NODEs),它使用定阶 Taylor 扩展进行数值积分,同时学习估计扩展的近似误差,从而在保持准确性的前提下,仅使用低阶 Taylor 扩展,大大降低了计算成本。一系列数值实验表明,TL-NODEs 比现有方法快一个数量级以上,性能也不会降低。
Jan, 2022
通过利用神经常微分方程(ODE)进行图像配准,本研究论文讨论了如何利用该框架来帮助表征顺序生物过程,从而更好地理解医学图像分析中的生物动态,该方法可以从数据中直接学习动态,并使用序列数据来规范转换轨迹。
Apr, 2024
该论文提出了一种新的神经算子,通过直接在傅里叶空间中参数化积分核,实现了对偏微分方程的求解,并在 Burgers' equation、Darcy 流和 Navier-Stokes 方程等测试中展现了高准确率和比传统方法高三个数量级的速度。
Oct, 2020
本研究提出一种利用混沌和数学优化的训练算法,可有效解决 NeuralODEs 实际应用中训练时间长,效果不佳的问题。与传统训练方法相比,该算法在不更改模型架构的情况下,可大幅降低误差值,并能够准确地捕捉真实的长期行为并正确地向未来外推。
Oct, 2022
提出了一种新的随机过程 —— 神经 ODE 过程(Neural ODE Processes),用于捕捉低维度和高维度的时间序列系统动力学,并且相较于现有的神经过程模型,该模型具有适应实时应用的能力和更好的不确定性估计。
Mar, 2021
通过使用切换的普通微分方程 (ODEs) 来消除奇点问题,我们提出了一个更通用的框架,Switched FM (SFM),以解决连续时间生成模型中的采样速度缓慢的问题,并演示了该框架的有效性。
May, 2024
本研究介绍了一种使用门控相互作用赋予自适应时间尺度的神经普通微分方程(gnODEs),并以需要记忆连续量的任务为例,证明了 gnODEs 学习(近似)连续吸引子方面的归纳偏差。此外,作者还引入了一种新的表现力量度,探究了 nODEs 的相空间维度和流场建模复杂性对表现力的影响。最后,作者在几个实际应用任务上展示了 nODEs 中门控的好处。
Jul, 2023