本研究将学习规则和神经 ODE 相结合,构建了连续时间序列处理网络,学习如何在其他网络的快速变化的突触连接中操作短期记忆,这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型,同时也解决了它们的根本可扩展性限制。
Jun, 2022
提出一种新型深度神经网络模型 —— 连续深度模型,其采用了一个神经网络来参数化隐藏状态的导数,并利用黑箱微分方程求解器计算网络输出,使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型,能够通过最大似然进行训练,而不需要对数据维度进行分区或排序,并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播,从而实现 ODE 的端到端训练。
Jun, 2018
该研究论文介绍了一种使用 ODE 的时间序列数据分析方法,提出基于 ODE 的 RNN 模型,可在较短的训练时间内学习具有不规则采样率的连续时间序列,并且计算效率更高、精度更高、设计更简单。
May, 2020
本研究提出了 PolyODE,一种基于正交多项式投影的神经常微分方程模型,用于学习动态系统,以实现长期记忆和整体表示,优于先前的模型在数据重建和下游预测任务中的性能。
Mar, 2023
神经常微分方程(Neural ODEs)在深度学习文献中取得了巨大成功,最近提出了连续版本的 U-net 架构,在图像应用中显示出比离散版本更高的性能,并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性,尤其是在已知的学习 Primal Dual 算法中,并将其应用于 CT 重建。
May, 2024
本短文自给自足地介绍和调查了基于神经常微分方程(神经 ODE)的连续时间深度学习方法,主要面向熟悉普通微分方程和偏微分方程及其分析的读者,意在揭示它们在机器学习中的作用。通过使用机器学习和应用数学领域的三个示例,我们将看到神经 ODE 如何提供深度学习的新见解,并为更高效的算法打下基础。
Jan, 2024
本文提出通过直接建模解曲线流和神经网络,消除昂贵的数值解算器,提高神经 ODE 的建模能力,并提供几种适用于不同应用场景的流体结构,从而提高计算效率和一致性。应用于时间序列建模、预测和密度估计,取得了良好的泛化性能。
Oct, 2021
介绍了一种新的数据驱动方法 ——Neural Jump ODE (NJ-ODE), 该模型模拟了连续时间下的随机过程。该模型使用神经 ODE 模型建模两个观察值之间的条件期望,并在每次发现新的观察值时进行跳跃。实验结果表明该模型对于更复杂的学习任务优于现有的基准模型。
Jun, 2020
本文通过进一步开发连续深度神经微分方程模型,以期澄清几种设计选择对其底层动态的影响,进而解密其内部运作方式。
Feb, 2020
该论文提出了一种名为 IMODE 的新型神经 ODE 方法,该方法可以有效地处理具有干预效应的实际系统动态,并通过合成和真实时间序列数据集的实验结果展示 IMODE 相对于现有方法的优越性。
Oct, 2020