本研究提出了一种称为连续循环单元 (CRUs) 的神经网络架构，它可以自然地处理不规则的时间间隔观察数据。研究发现，这种架构具有时间上的连续性和优化集成嘈杂观察的门控机制。我们在挑战性数据集上对 CRU 进行了实证研究，并发现它比基于神经微分方程的方法更好地插值了不规则时间序列。

Nov, 2021

我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

Jun, 2020

提出了一种基于 ODE-LSTM 网络的新型隐状态 ODE 模型，用于建模连续时间序列数据，实验结果表明其相较于 Latent ODE-RNN 模型具有更好的性能且能够避免训练过程中出现的梯度消失和梯度爆炸问题。

Jul, 2023

本文中提出基于神经振荡器非线性控制网络的二阶常微分方程模型时间离散化的递归神经网络，证明其对于隐藏状态的梯度具有精确的上限，解决了梯度问题，实验证明该递归神经网络在处理复杂的时序数据上具有稳定和准确的性能，达到了现有技术水平。

Oct, 2020

本文提出了一种名为 ODE-RNNs 的模型，可以对非匀齐时间间隔的时间序列进行建模，并通过实验表明，这种基于 ODE 的模型在处理不规则抽样数据时比基于 RNN 的模型表现更优。

Jul, 2019

在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

Mar, 2024

该研究论文介绍了一种使用 ODE 的时间序列数据分析方法，提出基于 ODE 的 RNN 模型，可在较短的训练时间内学习具有不规则采样率的连续时间序列，并且计算效率更高、精度更高、设计更简单。

May, 2020

基于连续时间自回归神经网络（NCDEs）的连续时间自编码器（CTA）方法，在时间序列输入中表现出最佳的填补性能。

Dec, 2023

本文提出了一种基于神经 ODE 的 RNN 模型 (RNN-ODE-Adap)，用于建模和预测非平稳时间序列数据，该模型可适应性地选择时间步长，并在 Hawkes 型时间序列数据中表现出一致性估计预测能力和计算成本优势。

Jun, 2023

使用神经常微分方程和递归神经网络结合的方法，可以在时间不规则的卫星遥感数据集上进行作物类型分类，从而实现了系统状态的随时采集和数据的外推。

Dec, 2020