提出一种新型深度神经网络模型——连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度/速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何ODE求解器进行可扩展地反向传播，从而实现ODE的端到端训练。

Jun, 2018

通过 Adjoint 方法解决网络梯度反向传播的内存占用过高导致的一些问题，提出了 ANODE 神经 ODE 框架，解决了梯度不稳定问题，并且有 O(L) + O(N_t) 的内存占用和与 ODE 反转相同的计算成本。

Feb, 2019

本文提出了一种自适应检查点伴随方法，旨在解决通过神经常微分方程求解器进行反向传播时，由于梯度估计方法不准确导致的错误率高的问题。使用该方法，针对图像分类和时间序列建模任务，半数训练时间内将错误率减半。此外，采用该方法进行训练的神经常微分方程模型在精确性和测试再现性方面均优于 ResNet模型，并可在三体问题的示例中融合物理知识以获得更好的精确性。

Jun, 2020

本文提出一种新的正则化技术：在训练过程中随机抽样ODE的结束时间，实验证明该技术能够在多个任务中显著减少训练时间并提高性能

Jun, 2020

本研究提出了替换`L^2`等传统范数为更适当的（半）范数以加快反向传播的算法，实验证明在时间序列、生成建模和物理控制等任务中有40％至62％减少函数计算量的中位数改善，训练时间大约减半。

Sep, 2020

本文介绍了利用可逆且代数上可逆的Heun方法以及优化的布朗运动采样技术，加速求解反向SDE以训练神经SDE模型，并提出了用于GAN的训练技巧，实验表明我们的算法在速度和预测效果上超过了现有技术。

May, 2021

通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

Mar, 2023

通过使用Gauß-Legendre积分法加速伴随方法，我们提出了一种加速神经ODE训练的新方法，这对大型模型尤为有效，同时也为训练基于SDE的模型提供了新的方法。

Aug, 2023

利用神经ODE通过使用连续深度神经网络参数化微分方程并使用数值ODE积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经ODE的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将ODE积分器（也称为ODE求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于Nesterov's加速梯度（NAG）的一阶ODE求解器，经证实可以调整以满足CCS条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。

Dec, 2023

本研究解决了神经常微分方程（Neural ODEs）在效率和稳定性上的不足，提出了一种新颖的自适应前馈梯度估计方法。该方法通过消除反向传播和伴随方法，显著降低了计算开销和内存使用，同时保持了算法的准确性。实验表明，该方法在实际应用中展现了优于当前神经常微分方程技术的良好性能。

Sep, 2024