用高斯 - 勒让德积分快速训练神经 ODE
本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。
Feb, 2020
本研究提出了替换 `L^2` 等传统范数为更适当的（半）范数以加快反向传播的算法，实验证明在时间序列、生成建模和物理控制等任务中有 40％至 62％减少函数计算量的中位数改善，训练时间大约减半。
Sep, 2020
本文讨论了如何通过整合贝叶斯学习框架来量化神经普通微分方程中权重的不确定性，并且展示了在 MNIST 数据集上使用 GPU 加速的 No-U-Turn MCMC 采样器、Stochastic Gradient Hamiltonian Monte Carlo 和 Stochastic Langevin Gradient Descent 等推理方法成功集成神经 ODE 的实验结果。然后，我们首次证明了变分推理与标准化流和神经 ODE 的成功整合，生成了强大的贝叶斯神经 ODE 对象。最后，我们演示了如何利用普适的常微分方程概率地识别部分描述的动力系统中的模型规范，从而为探索认识上的不确定性提供了科学的机器学习工具。
Dec, 2020
本研究提出简正了的伴随方法，通过辛积分器求解的伴随方法 获取完全梯度 (直到舍入误差) 并具有更少的记忆消耗，比其他方法更快且能更好地抑制舍入误差.
Feb, 2021
本文提出了一种基于正则化的方法，该方法利用自适应微分方程求解器的内部代价启发式和离散相邻灵敏度来引导训练过程，以学习更易于求解的神经微分方程，并在不增加训练成本的情况下加速预测，该方法可应用于常微分方程和神经随机微分方程。
May, 2021
利用神经 ODE 通过使用连续深度神经网络参数化微分方程并使用数值 ODE 积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经 ODE 的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将 ODE 积分器（也称为 ODE 求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于 Nesterov's 加速梯度（NAG）的一阶 ODE 求解器，经证实可以调整以满足 CCS 条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。
Dec, 2023
通过研究由 GAN 训练引起的连续时间动力学，我们验证了基于 ODE 求解器的方法（如 Runge-Kutta），结合控制积分误差的正则化器，可以稳定训练 GAN，这一方法胜过先前的一些强基线方法。
Oct, 2020
通过 Adjoint 方法解决网络梯度反向传播的内存占用过高导致的一些问题，提出了 ANODE 神经 ODE 框架，解决了梯度不稳定问题，并且有 O (L) + O (N_t) 的内存占用和与 ODE 反转相同的计算成本。
Feb, 2019
本文介绍了利用可逆且代数上可逆的 Heun 方法以及优化的布朗运动采样技术，加速求解反向 SDE 以训练神经 SDE 模型，并提出了用于 GAN 的训练技巧，实验表明我们的算法在速度和预测效果上超过了现有技术。
May, 2021