STEER: 简单的神经 ODE 时间正则化方法

Jun, 2020

STEER: 简单的神经 ODE 时间正则化方法

STEER: Simple Temporal Regularization For Neural ODEs

Arnab Ghosh, Harkirat Singh Behl, Emilien Dupont, Philip H. S. Torr, Vinay Namboodiri

TL;DR本文提出一种新的正则化技术：在训练过程中随机抽样 ODE 的结束时间，实验证明该技术能够在多个任务中显著减少训练时间并提高性能

Abstract

Training neural ordinary differential equations (ODEs) is often computationally expensive. Indeed, computing the forward pass of such models involves solving an ODE which can become arbitrarily complex during training. Recent works have shown that regularizing the dynamics of the ODE c

neural ordinary differential equations regularization time sampling normalizing flows image recognition

发现论文，激发创造

如何训练您的神经 ODE：雅可比和动力正则化的世界

本文提出了一种有效的组合方法，采用最优输运和稳定性正则化，使神经 ODE 倾向于更简单的动态系统，可以将训练时间显著减少，并且不会损失性能，从而将神经 ODE 应用于大规模应用。

Feb, 2020

神经常微分方程中的随机性：实证研究

本文对几个图像分类任务进行了随机正则化神经 ODE 的实证研究，探讨了数据增强对其性能的影响，展示了神经 SDE 相对于其确定性版本的优势，但进一步的研究表明，数据增强消除了随机正则化的影响，使得神经 ODE 和神经 SDE 的性能差异微不足道。

Feb, 2020

分析非规则时间序列数据的稳定神经随机微分方程

在处理真实世界的不规则时间序列数据中，由于不连续的采样间隔和缺失值，神经随机微分方程（Neural SDEs）的良好性能依赖于漂移和扩散函数的巧妙选择，本研究通过提出三个稳定的 Neural SDE 类别： Langevin 型 SDE、线性噪声 SDE 和几何 SDE，并通过广泛的实验验证了这些方法在分布转移和不同缺失率下的鲁棒性，展示了该方法在处理真实世界不规则时间序列数据中的有效性。

Feb, 2024

对称正则化的神经常微分方程

通过将连续 LIE 对称性引入神经 ODE 模型，将其与损失函数相结合，本文研究了在连续时间框架中捕捉系统动力学的神经 ODE 模型对称正则化。这种结构属性的引入能显著提高模型的鲁棒性和稳定性。

Nov, 2023

基于神经常微分方程的循环神经网络模型

该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

May, 2020

STRODE：随机边界常微分方程

本文提出了一种概率微分方程 (STRODE)，它可以在不需要任何时间注释的情况下，同时学习时间序列数据的时间和动态。该方法成功地推断了时间序列数据的事件时间，并在合成和实际数据集上实现了与现有技术相当或更好的性能表现。

Jul, 2021

基于 ODE 的扩散采样的轨迹规律性

扩散基于生成模型使用随机微分方程和其等效的常微分方程在复杂数据分布与可追踪的先验分布之间建立平滑连接。本文中，我们发现扩散模型的基于常微分方程的采样过程中存在着一些有趣的轨迹特性。我们表征了一个隐式去噪轨迹，并讨论了其在形成具有强形状规律性的耦合采样轨迹中的重要作用，无论生成的内容是什么。我们还描述了一种基于动态规划的方案，使得采样的时间安排更好地适应底层轨迹结构。这种简单的策略对于任何给定的基于常微分方程的数值求解器只需要最小的修改，并且在计算成本几乎可忽略的情况下，能够在图像生成中提供卓越的性能，特别是在 5 到 10 个函数评估中。

May, 2024

用于不规则采样时间序列的潜在 ODE

本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

Jul, 2019

局部正则化神经微分方程：有些黑盒应该保持关闭！

通过使用内部成本启发式算法，本文开发了两种采样策略来减少函数评估数量并加速预测，与全局正则化相比，我们的方法在普通微分方程和随机微分方程中具有相似的性能而不会影响实施的灵活性。

Mar, 2023

用 Transformer 预测常微分方程

我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

Jul, 2023