提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

本文通过进一步开发连续深度神经微分方程模型，以期澄清几种设计选择对其底层动态的影响，进而解密其内部运作方式。

Feb, 2020

本短文自给自足地介绍和调查了基于神经常微分方程（神经 ODE）的连续时间深度学习方法，主要面向熟悉普通微分方程和偏微分方程及其分析的读者，意在揭示它们在机器学习中的作用。通过使用机器学习和应用数学领域的三个示例，我们将看到神经 ODE 如何提供深度学习的新见解，并为更高效的算法打下基础。

Jan, 2024

神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

May, 2024

本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

Jun, 2022

神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

Feb, 2022

连续动力系统建模方法研究了数据驱动模型在解决微分方程方面的表现，通过 CodBench 进行了四类不同模型的全面评估并揭示了神经算子对新型力学数据集的困难，为建模动力系统的加速进展和探索提供了动力学研究资源。

Oct, 2023

本研究介绍了一种名为 Hypersolvers 的神经网络模型，能够以较低的计算成本解决 ODE 问题，在与 Neural ODEs 相结合的情况下，使得基于连续深度模型的实际应用成为可能，实验结果表明 Hypersolve 和 Neural ODE 方法在连续变换计算中的 pareto 效率比传统数字方法更高。

Jul, 2020

本文介绍了一种基于偏微分方程框架的深度残差神经网络和相关学习问题的方法，并研究了前向问题的稳定性和最优性，同时探究了神经网络、PDE 理论、变分分析、优化控制和深度学习之间的算法和理论联系。

May, 2019

通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

Mar, 2023