ANODEV2 是 Neural ODEs 的延伸，提出了基于耦合 ODE 的公式，使得神经网络参数的演化可以适应时间步长的更通用离散化方案。在 PyTorch 中实现了这个思路的耦合反应扩散对流版本，并在 CIFAR-10 上对多个模型进行了测试，结果显示这种耦合 ODE-based 的框架可以训练，而且相对于 baseline 模型和最近提出的 Neural ODE 方法可以获得更高的精度。

Jun, 2019

本研究提出简正了的伴随方法，通过辛积分器求解的伴随方法 获取完全梯度 (直到舍入误差) 并具有更少的记忆消耗，比其他方法更快且能更好地抑制舍入误差.

Feb, 2021

利用神经 ODE 通过使用连续深度神经网络参数化微分方程并使用数值 ODE 积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经 ODE 的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将 ODE 积分器（也称为 ODE 求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于 Nesterov's 加速梯度（NAG）的一阶 ODE 求解器，经证实可以调整以满足 CCS 条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。

Dec, 2023

本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

Mar, 2023

该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

May, 2020

深度残差网络与神经常微分方程之间的离散化联系被建立，证明了在特定条件下网络收敛至全局最小值。

Sep, 2023

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

Oct, 2019

本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

Jun, 2023

本研究提出了替换 `L^2` 等传统范数为更适当的（半）范数以加快反向传播的算法，实验证明在时间序列、生成建模和物理控制等任务中有 40％至 62％减少函数计算量的中位数改善，训练时间大约减半。

Sep, 2020