通过 Adjoint 方法解决网络梯度反向传播的内存占用过高导致的一些问题，提出了 ANODE 神经 ODE 框架，解决了梯度不稳定问题，并且有 O(L) + O(N_t) 的内存占用和与 ODE 反转相同的计算成本。

Feb, 2019

通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE网络更加稳健，并提出一种新的时间不变稳态神经ODE方法（TisODE）来进一步提高鲁棒性。

Oct, 2019

本文提出了一种自适应检查点伴随方法，旨在解决通过神经常微分方程求解器进行反向传播时，由于梯度估计方法不准确导致的错误率高的问题。使用该方法，针对图像分类和时间序列建模任务，半数训练时间内将错误率减半。此外，采用该方法进行训练的神经常微分方程模型在精确性和测试再现性方面均优于 ResNet模型，并可在三体问题的示例中融合物理知识以获得更好的精确性。

Jun, 2020

本文提出一种新的正则化技术：在训练过程中随机抽样ODE的结束时间，实验证明该技术能够在多个任务中显著减少训练时间并提高性能

Jun, 2020

本文提出了一种基于正则化的方法，该方法利用自适应微分方程求解器的内部代价启发式和离散相邻灵敏度来引导训练过程，以学习更易于求解的神经微分方程，并在不增加训练成本的情况下加速预测，该方法可应用于常微分方程和神经随机微分方程。

May, 2021

本文提出通过直接建模解曲线流和神经网络，消除昂贵的数值解算器，提高神经ODE的建模能力，并提供几种适用于不同应用场景的流体结构，从而提高计算效率和一致性。应用于时间序列建模、预测和密度估计，取得了良好的泛化性能。

Oct, 2021

通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

Mar, 2023

深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

Sep, 2023

利用神经ODE通过使用连续深度神经网络参数化微分方程并使用数值ODE积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经ODE的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将ODE积分器（也称为ODE求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于Nesterov's加速梯度（NAG）的一阶ODE求解器，经证实可以调整以满足CCS条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。

Dec, 2023

本短文自给自足地介绍和调查了基于神经常微分方程（神经ODE）的连续时间深度学习方法，主要面向熟悉普通微分方程和偏微分方程及其分析的读者，意在揭示它们在机器学习中的作用。通过使用机器学习和应用数学领域的三个示例，我们将看到神经ODE如何提供深度学习的新见解，并为更高效的算法打下基础。

Jan, 2024