Oct, 2023

ODE 系统的时间向量化数值积分

PDF
TL;DR将刚性系统的常微分方程通过时间的积分与伴随方法计算参数梯度的高效、隐式、矢量化方法在本文中进行了描述。创新之处在于在独立时间序列的数量和连续时间步骤的批次或 “块” 上对问题进行矢量化，从而有效地进行隐式常微分方程系统的组装。线性化的隐式反向欧拉法的块双对角结构使用并行循环消减进一步进行矢量化。在输入数据的两个轴上进行矢量化，提供了更高的计算带宽给计算设备，即使是相对稀疏数据的问题也能充分利用现代 GPU，实现了超过 100 倍的加速，与标准的顺序时间积分相比。我们通过几个示例问题，包括来自分析刚性和非刚性 ODE 模型以及神经 ODE 模型的问题，展示了隐式的矢量化时间积分的优势，并描述并提供了此处开发的方法的免费开源实现。
发现论文，激发创造
  • 并行时间概率数值 ODE 求解器

    我们利用 Bayesian filtering and smoothing 的框架，基于 iterated extended Kalman smoothers 的时间并行公式，提出了一种并行时间概率数值 ODE 求解器，将动力系统的模拟从顺序处理转变为并行处理的形式，从而将时间步长的计算复杂度从线性降低到对数级别。我们在多种 ODE 问题上展示了这种方法的有效性，并将其与经典的和概率的数值 ODE 求解器进行了比较。

    Oct, 2023

  • 硬神经常微分方程

    本研究旨在解决学习具有刚性系统的神经普通微分方程（ODE）的挑战，它通常来自化学和生物系统中的化学动力学建模。本文提出了使用深度网络、适当缩放网络输出以及稳定梯度计算等关键技术的方法，成功地演示了解决 Robertson 问题和空气污染问题中的硬化系统。通过使用学习刚性神经 ODE 的工具，可以在能源转换、环境工程以及生命科学等具有广泛时间尺度变化的应用中使用神经 ODE。

    Mar, 2021

  • 一种数据驱动的微分方程计算加速机器学习框架

    提出了一种机器学习框架，将时间依赖的 ODE 和 PDE 重新表示为人工神经网络，经过离线训练调整参数，通过数值实验展示了相比标准数值方法更高的计算效率。

    Jul, 2018

  • 一首颂词给一阶常微分方程

    提出了一种新的神经 ODE 算法范例，称为 ODEtoODE，其中主要流的时间相关参数随着正交群 O（d）上的矩阵流发展。这种嵌套的两种流系统，其中参数流限制在紧致流形上，提供稳定性和有效性训练，并能解决梯度消失 - 爆炸问题，从而导致更好的下游模型和进化策略中训练增强学习策略和在监督学习设置中，通过与以前的 SOTA 基线进行比较。我们提供了独立于网络深度的强收敛结果，支持我们的经验研究。我们的结果表明，深度神经网络理论与紧凑流形上的矩阵流领域之间存在着有趣的联系。

    Jun, 2020

  • 随机微分方程的可扩展梯度

    本文提出一种利用伴随灵敏度方法计算随机微分方程梯度的方法，结合高阶适应性求解器，实现快速、内存高效的梯度计算。并将该方法应用于基于神经网络的随机动力学拟合中，表现出竞争性的性能。

    Jan, 2020

  • 用高斯 - 勒让德积分快速训练神经 ODE

    通过使用 Gauß-Legendre 积分法加速伴随方法，我们提出了一种加速神经 ODE 训练的新方法，这对大型模型尤为有效，同时也为训练基于 SDE 的模型提供了新的方法。

    Aug, 2023

  • 如何训练您的神经 ODE：雅可比和动力正则化的世界

    本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。

    Feb, 2020

  • 利用辛离散化加速高分辨率微分方程求解

    通过离散化对应于 Nesterov 加速梯度方法和 Polyak 重球方法的常微分方程进行研究，我们考虑了三种离散化方案：显式欧拉方案，隐式欧拉方案和辛方案。我们表明，将辛方案应用于 Shi 等人提出的高分辨率 ODE 可以实现加速率，用于最小化平滑的强凸函数。另一方面，当方案是隐式的，ODE 是低分辨率的，或者方案是显式的时，得到的算法要么无法实现加速，要么是不实用的。

    Feb, 2019

  • 神经常微分方程的鲁棒性

    通过实验和理论探讨，研究了神经常微分方程（ODEs）模型的鲁棒性。发现相比传统的卷积神经网络（CNNs），ODE 网络更加稳健，并提出一种新的时间不变稳态神经 ODE 方法（TisODE）来进一步提高鲁棒性。

    Oct, 2019

  • 分析非规则时间序列数据的稳定神经随机微分方程

    在处理真实世界的不规则时间序列数据中，由于不连续的采样间隔和缺失值，神经随机微分方程（Neural SDEs）的良好性能依赖于漂移和扩散函数的巧妙选择，本研究通过提出三个稳定的 Neural SDE 类别： Langevin 型 SDE、线性噪声 SDE 和几何 SDE，并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性，展示了该方法在处理真实世界不规则时间序列数据中的有效性。

    Feb, 2024