分解神经常微分方程
提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。
Jun, 2018
本短文自给自足地介绍和调查了基于神经常微分方程（神经 ODE）的连续时间深度学习方法，主要面向熟悉普通微分方程和偏微分方程及其分析的读者，意在揭示它们在机器学习中的作用。通过使用机器学习和应用数学领域的三个示例，我们将看到神经 ODE 如何提供深度学习的新见解，并为更高效的算法打下基础。
Jan, 2024
神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。
May, 2024
本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。
Jun, 2022
本文提出了一种新的可达性框架 ——NNVODE，以便于对具有不同体系结构和层数的神经普通微分方程进行形式化分析，并通过一组基准测试，包括用于分类和控制动力系统的神经 ODE，以及与连续时间系统可达性文献中现有软件工具的效力和能力的比较，证明了其能力和有效性。
Jul, 2022
该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。
May, 2020
本研究介绍了一种名为 Hypersolvers 的神经网络模型，能够以较低的计算成本解决 ODE 问题，在与 Neural ODEs 相结合的情况下，使得基于连续深度模型的实际应用成为可能，实验结果表明 Hypersolve 和 Neural ODE 方法在连续变换计算中的 pareto 效率比传统数字方法更高。
Jul, 2020
本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。
May, 2023
本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。
Apr, 2021