一般神经普通微分方程的可达性分析

Jul, 2022

一般神经普通微分方程的可达性分析

Reachability Analysis of a General Class of Neural Ordinary Differential Equations

Diego Manzanas Lopez, Patrick Musau, Nathaniel Hamilton, Taylor T. Johnson

TL;DR本文提出了一种新的可达性框架 ——NNVODE，以便于对具有不同体系结构和层数的神经普通微分方程进行形式化分析，并通过一组基准测试，包括用于分类和控制动力系统的神经 ODE，以及与连续时间系统可达性文献中现有软件工具的效力和能力的比较，证明了其能力和有效性。

Abstract

Continuous deep learning models, referred to as Neural Ordinary Differential Equations (Neural ODEs), have received considerable attention over the last several years. Despite their burgeoning impact, there is a lack of formal analysis techniques for these systems. In this paper, we consider a general class of neural ODEs with varying architectures and layer

neural ordinary differential equations formal analysis reachability framework nnvode continuous-time systems reachability literature

发现论文，激发创造

分解神经常微分方程

本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

Feb, 2020

神经常微分方程

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

神经常微分方程的鲁棒性

通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

Oct, 2019

连续时间深度学习的微分方程

本短文自给自足地介绍和调查了基于神经常微分方程（神经 ODE）的连续时间深度学习方法，主要面向熟悉普通微分方程和偏微分方程及其分析的读者，意在揭示它们在机器学习中的作用。通过使用机器学习和应用数学领域的三个示例，我们将看到神经 ODE 如何提供深度学习的新见解，并为更高效的算法打下基础。

Jan, 2024

基于神经常微分方程的循环神经网络模型

该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

May, 2020

用神经微分方程学习神经网络连续学习规则的编程

本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

Jun, 2022

神经 ODE 的高效认证训练与鲁棒性检验

提出了一种名为 GAINS 的分析框架，它结合了三个关键思想，基于变量但离散时间步的 ODE 解算器、求解器轨迹的高效图形表示和一种基于该图形表示的新颖抽象算法，可以有效分析高维 NODEs 和提供保证，并将运行时从指数级降至线性对数阶，通过在计算机视觉和时间序列预测问题上的大量评估，证明了该方法的有效性。

Mar, 2023

连续学习的原始对偶算法

神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

May, 2024

神经常微分方程用于环境水动力学数据驱动的降阶建模

本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。

Apr, 2021

神经常微分方程中的不确定性和结构

本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

May, 2023