Jun, 2020

学习非规则采样时间序列中的长期依赖

PDF
TL;DR我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。
发现论文，激发创造
  • 用于不规则采样时间序列的潜在 ODE

    本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

    Jul, 2019

  • 利用潜变量 ODE-LSTM 方法增强连续时间序列建模

    提出了一种基于 ODE-LSTM 网络的新型隐状态 ODE 模型，用于建模连续时间序列数据，实验结果表明其相较于 Latent ODE-RNN 模型具有更好的性能且能够避免训练过程中出现的梯度消失和梯度爆炸问题。

    Jul, 2023

  • 基于神经常微分方程的循环神经网络模型

    该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

    May, 2020

  • UnICORNN: 用于学习非常长时间依赖关系的循环模型

    本文提出了一种基于哈密顿系统的离散化的循环神经网络架构，解决长时依赖序列输入处理的梯度消失和爆炸问题，实验表明该方法在各种学习任务中提供了最先进的性能。

    Mar, 2021

  • 自适应时间步长神经微分循环神经网络

    本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

    Jun, 2023

  • 神经跳跃常微分方程：一致连续时间预测和滤波

    介绍了一种新的数据驱动方法 ——Neural Jump ODE (NJ-ODE), 该模型模拟了连续时间下的随机过程。该模型使用神经 ODE 模型建模两个观察值之间的条件期望，并在每次发现新的观察值时进行跳跃。实验结果表明该模型对于更复杂的学习任务优于现有的基准模型。

    Jun, 2020

  • 将循环、卷积、连续时间模型与线性状态空间层相结合

    本研究将控制系统应用于序列建模，提出了简单的序列模型 LSSL，并通过引入连续时间记忆的结构矩阵来提高模型性能，使用 LSSL 优于其他深度学习模型并在时间序列等领域取得了优秀成果。

    Oct, 2021

  • 连续时间循环神经网络：概览及其在重症监护中预测血糖方面的应用

    本文介绍了在不规则测量环境中，利用神经普通微分方程或神经流层来提高自回归递归神经网络性能的不同 CTRNN 体系结构，研究表明，在血糖概率预测方面，只有 LSTM 和 ODE-LSTM 体系结构与渐进提升树模型具有相当的性能。

    Apr, 2023

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构 —— 循环神经网络，并通过对语言建模等实验得出其同 LSTM 网络有着类似的性能表现。

    Dec, 2014

  • 基于循环神经网络学习非线性积分算子及其在求解积分 - 微分方程中的应用

    利用 LSTM-RNN（长短期记忆 - 循环神经网络）学习和表示非线性积分微分方程（IDEs）中的非线性积分算子，从而提高求解效率和稳定性。

    Oct, 2023