Nov, 2020

可解释的张量神经普通微分方程用于任意步时间序列预测

PDF
TL;DR本文提出了一种新的连续神经网络框架 ETN-ODE，结合了可解释的 Tensorized Gated Recurrent Unit（Tensorized GRU）和普通微分方程（ODE），通过引入时间和变量注意力机制，创新性地解决了不同时间点的多步骤多变量时间序列预测问题，并通过实验证明该方法的有效性和解释性。
发现论文，激发创造
  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • 自适应时间步长神经微分循环神经网络

    本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

    Jun, 2023

  • 神经跳跃常微分方程：一致连续时间预测和滤波

    介绍了一种新的数据驱动方法 ——Neural Jump ODE (NJ-ODE), 该模型模拟了连续时间下的随机过程。该模型使用神经 ODE 模型建模两个观察值之间的条件期望，并在每次发现新的观察值时进行跳跃。实验结果表明该模型对于更复杂的学习任务优于现有的基准模型。

    Jun, 2020

  • 基于动态图神经 ODE 的多元时间序列预测

    本文提出了一种使用动态图神经普通微分方程（MTGODE）来预测多元时间序列的连续模型，旨在解决离散神经网络在捕捉稳定和精确的时空动态时所遇到的困难。我们的实验证明了该方法从多种角度在五个时间序列基准数据集上的超越性。

    Feb, 2022

  • 用 Transformer 预测常微分方程

    我们使用基于 Transformer 的序列到序列模型，从单个解轨迹的不规则采样和嘈杂观测数据中恢复标量常微分方程（ODE）的符号形式。通过广泛的实证评估，我们证明我们的模型在各种环境下表现出更好或与现有方法相当的精确恢复能力。此外，我们的方法具有高效的可扩展性：在一次对大量 ODE 进行预先训练后，我们可以在模型的几次正向传递中推断出新观测解的控制规律。

    Jul, 2023

  • 神经常微分方程

    提出一种新型深度神经网络模型 —— 连续深度模型，其采用了一个神经网络来参数化隐藏状态的导数，并利用黑箱微分方程求解器计算网络输出，使其具有内存成本不变、能够为每个输入自适应地选择评估策略并能显式进行精度 / 速度权衡等特点。研究者进一步证明了通过此模型可以构造出连续正则化流模型，能够通过最大似然进行训练，而不需要对数据维度进行分区或排序，并展示了如何在较大模型内部向任何 ODE 求解器进行可扩展地反向传播，从而实现 ODE 的端到端训练。

    Jun, 2018

  • 用于不规则采样时间序列的潜在 ODE

    本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

    Jul, 2019

  • 基于神经 ODE 的时态知识图预测

    本研究提出一种基于神经常微分方程的多关系图卷积网络连续模型，通过图转换层捕获动态图的转换，实现对时间和结构信息进行连续时间动态嵌入，并在五个基准数据集上进行了大量实验证明，该模型在未来链接预测任务中具有卓越的性能。

    Jan, 2021

  • ODE Transformer: 序列生成的普通微分方程启发模型

    本文研究残差网络与解常微分方程的欧拉离散化之间的关系，并将欧拉离散化方法运用于 Transformer 中，提出一种新的 ODE Transformer 架构，实现简单高效，在机器翻译、摘要生成和语法错误修正等任务上具有较高的泛化能力和性能提升。

    Mar, 2022

  • 用于非规则时间序列的神经控制微分方程

    本研究介绍了一个新的神经模型：神经控制微分方程模型，解决了利用常规微分方程对时间动态进行建模时无法针对后续观察调整轨迹的问题，并通过实验和理论结果展示其在较多数据集上实现了与其他神经网络模型相当的最佳性能

    May, 2020