本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

Mar, 2021

本研究提出一种利用混沌和数学优化的训练算法，可有效解决 NeuralODEs 实际应用中训练时间长，效果不佳的问题。与传统训练方法相比，该算法在不更改模型架构的情况下，可大幅降低误差值，并能够准确地捕捉真实的长期行为并正确地向未来外推。

Oct, 2022

利用神经 ODE 通过使用连续深度神经网络参数化微分方程并使用数值 ODE 积分器来解决，相较于具有离散隐藏层序列的模型，这些模型提供了恒定的内存成本，其中内存成本随隐藏层数的增加呈线性增长。另外，神经 ODE 的其他优点还包括对输入评估方法的可调适性和选择数值精度或快速训练的灵活性。然而，尽管具有所有这些优点，它仍然存在一些限制。我们将 ODE 积分器（也称为 ODE 求解器）确定为链条中最薄弱的环节，因为它可能存在稳定性、一致性和收敛性（CCS）问题，可能在收敛速度较慢或根本不收敛。我们提出了一种基于 Nesterov's 加速梯度（NAG）的一阶 ODE 求解器，经证实可以调整以满足 CCS 条件。我们通过在监督分类、密度估计和时间序列建模三个不同任务中训练更快，同时实现更好或相当的性能，来经验性地证明了我们的方法的有效性。

Dec, 2023

通过在耦合的普通微分方程中嵌入深度神经网络来实现非线性反问题的机械可解释性的发现工具，从而在没有先验知识的情况下，稳健地发现热超新星驱动的银河风的大量动力学和热力学特性，其中包括卷起的冷云和非球形的射流几何形状。

Jun, 2023

本研究提出了一种基于特定解算器或应用程序相关边界条件的 ODE 属性的方法来改善 NeuralODE 的稳定性和收敛性，该方法在线性和非线性系统模型中演示了其稳健性以及对局部极小值，不稳定性和稀疏数据样本具有显着的改进并提高了训练的性能。

Feb, 2023

本文提出了一种自适应惩罚算法，用于在神经常微分方程中模拟受限自然系统，并通过在人口增长、化学反应演化和阻尼谐振子运动中对其进行建模进行验证，结果表明自适应惩罚算法在模拟受限自然系统中的神经常微分方程上具有更好的有效性和可靠性。

Jul, 2023

本研究对使用物理学知识提供指导的神经网络（PINN）在处理化学动力学问题中的表现进行了研究，发现针对刚性问题的化学动力学系统，普通的 PINN 存在失败的可能性，因此本研究开发了使用准稳态假设的 Stiff-PINN 方法以解决化学动力学问题中的刚性问题。

Nov, 2020

本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。

Feb, 2020

提出 DeepCFD 模型，基于卷积神经网络，有效地逼近非均匀稳态层流的问题，从真实数据中学习 Navier-Stokes 方程的完整解，可在低误差率的情况下加速高达三个数量级。

Apr, 2020

本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

May, 2023