神经 ODE 控制用于分类、逼近和传输
本文提出了基于神经常微分方程(Neural ODEs)的神经控制策略,将控制策略优化问题转化为一个 Neural ODE 问题,有效地利用动态系统模型,展示了这种确定性神经控制策略在两个受控系统中的功效:控制的 Van der Pol 系统和一个生物反应器控制问题。该方法为非线性控制问题的无法处理的闭环解提供了一种实用的逼近方法。
Oct, 2022
该论文探讨神经常微分方程(NODEs)的自然鲁棒性,通过控制 ODE 动力学的 Lipschitz 常数可以显著提高神经网络的鲁棒性,证明 Grownwall 不等式可以被应用到深度学习中。同时验证了 NODEs 对噪声与对抗性攻击的鲁棒性,并实验了自适应和非自适应求解器对节点鲁棒性的影响。
May, 2023
提出了一种名为 GAINS 的分析框架,它结合了三个关键思想,基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法,可以有效分析高维 NODEs 和提供保证,并将运行时从指数级降至线性对数阶,通过在计算机视觉和时间序列预测问题上的大量评估,证明了该方法的有效性。
Mar, 2023
神经常微分方程(NODEs)是基于常微分方程的深度学习中最具影响力的作品之一,它不断推广残差网络,并开创了一个新领域。本文提出了一种基于神经算子的方法来定义时间导数术语,称为分支傅里叶神经算子(BFNO),在各种下游任务中,我们的方法明显优于现有方法。
Dec, 2023
该研究提出一种新的带延迟的连续深度神经网络模型 —— 神经延迟微分方程(NDDEs),使用伴随灵敏度方法计算相应的梯度,并通过多个案例证明其在模拟复杂模型和实际图像数据集方面具有较优的表现,这表明将动态系统因素引入网络设计有助于提高网络性能。
Feb, 2021
本文介绍了一种名为 Neural Delay Differential Equations(NDDE)的连续深度神经网络,使用输入的延迟动态学方程计算相应的梯度,并用数个实际案例展示了 NDDE 比传统模型具有更强的非线性表达能力和性能表现的优势。
Apr, 2023
提出了一种数据驱动的积分方法,称为 Taylor-Lagrange NODEs (TL-NODEs),它使用定阶 Taylor 扩展进行数值积分,同时学习估计扩展的近似误差,从而在保持准确性的前提下,仅使用低阶 Taylor 扩展,大大降低了计算成本。一系列数值实验表明,TL-NODEs 比现有方法快一个数量级以上,性能也不会降低。
Jan, 2022
提出了一种新的随机过程 —— 神经 ODE 过程(Neural ODE Processes),用于捕捉低维度和高维度的时间序列系统动力学,并且相较于现有的神经过程模型,该模型具有适应实时应用的能力和更好的不确定性估计。
Mar, 2021
本研究将学习规则和神经 ODE 相结合,构建了连续时间序列处理网络,学习如何在其他网络的快速变化的突触连接中操作短期记忆,这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型,同时也解决了它们的根本可扩展性限制。
Jun, 2022
本研究介绍了一个新的神经模型:神经控制微分方程模型,解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题,并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能
May, 2020