神经 Laplace：在 Laplace 域中学习不同类别的微分方程

Jun, 2022

神经 Laplace：在 Laplace 域中学习不同类别的微分方程

Neural Laplace: Learning diverse classes of differential equations in the Laplace domain

Samuel Holt, Zhaozhi Qian, Mihaela van der Schaar

TL;DR提出了一种名为 Neural Laplace 的框架，它使用 Laplace 域来建模系统的动态，并能学习各种微分方程类，包括延迟微分方程和积分微分方程，能够更稳健地建模粘性微分方程和具有分段强制函数的微分方程。在实验中，证明其在建模和外推各种微分方程的轨迹方面都能比较好的工作。

Abstract

Neural Ordinary Differential Equations model dynamical systems with ODEs learned by neural networks. However, ODEs are fundamentally inadequate to model systems with long-range dependencies or discontinuities, which are common in engineering and biological systems. Broader classes of differential equations (DE) have been proposed as remedies, including delay

neural laplace des laplace domain stiff odes numerical instability

发现论文，激发创造

神经拉普拉斯以学习随机微分方程

Neural Laplace 是学习不同类别的常微分方程的统一框架，但是许多系统无法用 ODE 建模，这篇论文将重点讨论 Neural Laplace 在学习不同类别的随机微分方程（SDE）的潜在应用。

Jun, 2024

神经常微分方程中的不确定性和结构

本研究使用贝叶斯深度学习技术将轻量级机器学习方法应用于神经常微分方程以获得结构化和有意义的不确定性量化，研究了机械知识和不确定性量化在两种神经常微分方程框架下的相互作用 - 辛神经常微分方程和神经常微分方程物理模型的补充，证明了方法在低维 ODE 问题和高维偏微分方程上的有效性。

May, 2023

用神经微分方程学习神经网络连续学习规则的编程

本研究将学习规则和神经 ODE 相结合，构建了连续时间序列处理网络，学习如何在其他网络的快速变化的突触连接中操作短期记忆，这产生了快速权重程序员和线性变压器的连续时间对应物。该模型在各种时间序列分类任务中优于现有的神经控制微分方程模型，同时也解决了它们的根本可扩展性限制。

Jun, 2022

记忆神经微分方程及正交多项式投影

本研究提出了 PolyODE，一种基于正交多项式投影的神经常微分方程模型，用于学习动态系统，以实现长期记忆和整体表示，优于先前的模型在数据重建和下游预测任务中的性能。

Mar, 2023

神经常微分方程

提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

Jun, 2018

分析非规则时间序列数据的稳定神经随机微分方程

在处理真实世界的不规则时间序列数据中，由于不连续的采样间隔和缺失值，神经随机微分方程（Neural SDEs）的良好性能依赖于漂移和扩散函数的巧妙选择，本研究通过提出三个稳定的 Neural SDE 类别： Langevin 型 SDE、线性噪声 SDE 和几何 SDE，并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性，展示了该方法在处理真实世界不规则时间序列数据中的有效性。

Feb, 2024

神经常微分方程用于环境水动力学数据驱动的降阶建模

本研究探讨使用神经常微分方程作为一种传播基于简化模型的潜在空间动力学的方法，并与两种传统的非侵入性方法进行比较，发现神经常微分方程提供了一个稳定和准确的演化潜在空间动力学的框架，但为了促进其广泛应用于大型系统，需要加速其训练时间。

Apr, 2021

连续学习的原始对偶算法

神经常微分方程（Neural ODEs）在深度学习文献中取得了巨大成功，最近提出了连续版本的 U-net 架构，在图像应用中显示出比离散版本更高的性能，并围绕其性能和鲁棒性提供了理论保证。本文探讨了使用神经 ODE 解决学习逆问题的可能性，尤其是在已知的学习 Primal Dual 算法中，并将其应用于 CT 重建。

May, 2024

神经微分方程

神经微分方程是深度学习和动力系统相结合的一个研究领域，可用于解决生成式问题、动力系统和时间序列。本文提供了这个领域的深入调查，并涵盖了神经微分方程的多种类型及其相关的数值方法和符号回归。

Feb, 2022

硬神经常微分方程

本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

Mar, 2021