ICMLJul, 2023

用 Transformer 预测常微分方程

PDF
TL;DR我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。
transformer-based sequence-to-sequence modelscalar ordinary differential equations (odes)irregularly samplednoisy observationsefficiently scalable
发现论文，激发创造
  • ODE Transformer: 序列生成的普通微分方程启发模型

    本文研究残差网络与解常微分方程的欧拉离散化之间的关系，并将欧拉离散化方法运用于 Transformer 中，提出一种新的 ODE Transformer 架构，实现简单高效，在机器翻译、摘要生成和语法错误修正等任务上具有较高的泛化能力和性能提升。

    Mar, 2022

  • ODEFormer：使用 Transformer 进行动力系统的符号回归

    ODEFormer 是第一个能从单个解轨迹的观察中推断出符号形式的多维常微分方程（ODE）系统的 transformer。它在两个数据集上进行了广泛的评估，并且在噪音和不规律采样观测方面显示出明显改进的性能和更快的推断速度。代码、模型和基准数据集已公开发布。

    Oct, 2023

  • 可解释的张量神经普通微分方程用于任意步时间序列预测

    本文提出了一种新的连续神经网络框架 ETN-ODE，结合了可解释的 Tensorized Gated Recurrent Unit（Tensorized GRU）和普通微分方程（ODE），通过引入时间和变量注意力机制，创新性地解决了不同时间点的多步骤多变量时间序列预测问题，并通过实验证明该方法的有效性和解释性。

    Nov, 2020

  • 利用 Transformer 作为具有有限规律性的微分方程求解的神经算子

    神经算子学习模型被证实为部分微分方程在各种应用中的高效代理方法，本文通过建立理论基础将变压器作为算子学习模型实现通用逼近性，并应用于预测具有不同初始条件和强迫项的有限正则性动力学系统的解。

    May, 2024

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 神经 ODE 中的预测之外：鉴别和干预

    采用简单的正则化方案和柔性神经 ODE，我们可以从时间序列数据中强大地恢复动态和因果结构，并对变量或系统自身进行准确的预测。

    Jun, 2021

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 用于非规则时间序列的神经控制微分方程

    本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

    May, 2020

  • 用于不规则采样时间序列的潜在 ODE

    本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

    Jul, 2019

  • 用于连续高效时间序列建模的粗糙变换器

    在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

    Mar, 2024