本研究介绍了使用多项式神经常微分方程(polynomial neural ODE)框架解决神经常微分方程(neural ODE)应用中,解释性和泛化能力问题的方法,并且演示了多项式神经常微分方程在预测能力和符号回归方面的优秀性。
Aug, 2022
本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法,并与两种传统的非侵入性方法进行比较,发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架,但为了促进其广泛应用于大型系统,需要加速其训练时间。
Apr, 2021
神经常微分方程(Neural ODEs)在深度学习文献中取得了巨大成功,最近提出了连续版本的 U-net 架构,在图像应用中显示出比离散版本更高的性能,并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性,尤其是在已知的学习 Primal Dual 算法中,并将其应用于 CT 重建。
May, 2024
该研究论文介绍了一种使用 ODE 的时间序列数据分析方法,提出基于 ODE 的 RNN 模型,可在较短的训练时间内学习具有不规则采样率的连续时间序列,并且计算效率更高、精度更高、设计更简单。
May, 2020
提出一种新型深度神经网络模型 —— 连续深度模型,其采用了一个神经网络来参数化隐藏状态的导数,并利用黑箱微分方程求解器计算网络输出,使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型,能够通过最大似然进行训练,而不需要对数据维度进行分区或排序,并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播,从而实现 ODE 的端到端训练。
Jun, 2018
该论文提出了一种名为 IMODE 的新型神经 ODE 方法,该方法可以有效地处理具有干预效应的实际系统动态,并通过合成和真实时间序列数据集的实验结果展示 IMODE 相对于现有方法的优越性。
Oct, 2020
本研究将学习规则和神经 ODE 相结合,构建了连续时间序列处理网络,学习如何在其他网络的快速变化的突触连接中操作短期记忆,这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型,同时也解决了它们的根本可扩展性限制。
Jun, 2022
本研究旨在解决学习具有刚性系统的神经普通微分方程(ODE)的挑战,它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法,成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具,可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。
Mar, 2021
通过将连续 LIE 对称性引入神经 ODE 模型,将其与损失函数相结合,本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。
Nov, 2023
提出了一种名为 Neural Laplace 的框架,它使用 Laplace 域来建模系统的动态,并能学习各种微分方程类,包括延迟微分方程和积分微分方程,能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中,证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。