在处理真实世界的不规则时间序列数据中，由于不连续的采样间隔和缺失值，神经随机微分方程（Neural SDEs）的良好性能依赖于漂移和扩散函数的巧妙选择，本研究通过提出三个稳定的 Neural SDE 类别： Langevin 型 SDE、线性噪声 SDE 和几何 SDE，并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性，展示了该方法在处理真实世界不规则时间序列数据中的有效性。

Feb, 2024

本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

May, 2023

通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

Oct, 2019

本研究提出了一种基于特定解算器或应用程序相关边界条件的 ODE 属性的方法来改善 NeuralODE 的稳定性和收敛性，该方法在线性和非线性系统模型中演示了其稳健性以及对局部极小值，不稳定性和稀疏数据样本具有显着的改进并提高了训练的性能。

Feb, 2023

本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。

Feb, 2020

本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

Mar, 2021

通过将连续 LIE 对称性引入神经 ODE 模型，将其与损失函数相结合，本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。

Nov, 2023

利用神经 ODE 通过使用连续深度神经网络参数化微分方程并使用数值 ODE 积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经 ODE 的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将 ODE 积分器（也称为 ODE 求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于 Nesterov's 加速梯度（NAG）的一阶 ODE 求解器，经证实可以调整以满足 CCS 条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。

Dec, 2023

本文提出了一种基于正则化的方法，该方法利用自适应微分方程求解器的内部代价启发式和离散相邻灵敏度来引导训练过程，以学习更易于求解的神经微分方程，并在不增加训练成本的情况下加速预测，该方法可应用于常微分方程和神经随机微分方程。

May, 2021

通过研究由 GAN 训练引起的连续时间动力学，我们验证了基于 ODE 求解器的方法（如 Runge-Kutta），结合控制积分误差的正则化器，可以稳定训练 GAN，这一方法胜过先前的一些强基线方法。

Oct, 2020