潜时间神经常微分方程
本文提出一种新的方法,通过考虑 ODE 求解器的终止时间 T 上的分布来模型化神经 ODE 中的不确定性,采用贝叶斯学习从数据中获得 T 的后验分布,从而实现模型选择的自动化,并用 ALT-NODE 模型来使每个数据点有自己独特的 T 的后验分布,多个后验样本的 NODE 表示可以有效预测,通过实验在合成数据和现实世界图像分类数据取得了较好的效果。
Dec, 2021
神经常微分方程(NODEs)是基于常微分方程的深度学习中最具影响力的作品之一,它不断推广残差网络,并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语,称为分支傅里叶神经算子(BFNO),在各种下游任务中,我们的方法明显优于现有方法。
Dec, 2023
该研究提出了一种使用时间感知神经常微分方程(NODE)分析疾病进展的新框架。我们引入了一个在自监督学习(SSL)中训练的 “时间感知头”,以利用潜在空间中的时间信息来进行数据增强。与缺乏显式时间集成的传统方法相比,该方法有效地将 NODE 和 SSL 结合,提供显著的性能改进。我们利用 OPHDIAT 数据库展示了我们的策略在糖尿病视网膜病变进展预测中的有效性。与基准线相比,所有的 NODE 架构在 ROC 曲线下面积(AUC)和 Kappa 指标上都取得了统计显著的改进,突显了使用 SSL 启发式方法进行预训练的效果。此外,我们的框架促进了 NODE 的稳定训练,在时间感知建模中经常遇到的挑战中取得了突破。
Apr, 2024
提出了一种数据驱动的积分方法,称为 Taylor-Lagrange NODEs (TL-NODEs),它使用定阶 Taylor 扩展进行数值积分,同时学习估计扩展的近似误差,从而在保持准确性的前提下,仅使用低阶 Taylor 扩展,大大降低了计算成本。一系列数值实验表明,TL-NODEs 比现有方法快一个数量级以上,性能也不会降低。
Jan, 2022
该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程(NDDEs),使用伴随灵敏度方法计算相应的梯度,并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现,这表明将动态系统因素引入网络设计有助于提高网络性能。
Feb, 2021
提出了一种名为 GAINS 的分析框架,它结合了三个关键思想,基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法,可以有效分析高维 NODEs 和提供保证,并将运行时从指数级降至线性对数阶,通过在计算机视觉和时间序列预测问题上的大量评估,证明了该方法的有效性。
Mar, 2023
本文介绍了一种名为 Neural Delay Differential Equations(NDDE)的连续深度神经网络,使用输入的延迟动态学方程计算相应的梯度,并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。
Apr, 2023
本文提出了基于神经常微分方程和变分自编码器的生成时序模型,加入 LSTM 编码器并使用多种复杂数据进行了验证;结果表明模型能够有效重构出给定输入并对太阳能生产数据表现良好。但对于复杂数据,其在预测真实轨迹中的表现有限,并建议在未来的研究中探索更多可扩展性。
Jan, 2022
本文介绍了一种基于延迟微分方程(DDE)的连续时间神经网络方法,使用伴随灵敏度方法从数据中直接学习模型参数和延迟。该方法可以学习 DDE 参数,表现出良好的敏感性分析能力,并涉及到机器学习、动力系统学和神经网络等领域。
Apr, 2023
提出了一种新的随机过程 —— 神经 ODE 过程(Neural ODE Processes),用于捕捉低维度和高维度的时间序列系统动力学,并且相较于现有的神经过程模型,该模型具有适应实时应用的能力和更好的不确定性估计。
Mar, 2021