在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

Mar, 2024

该论文介绍了一种递归插值方法（RIM），该方法可用于增强时间序列数据，以提高在回归、分类和强化学习任务中的性能，并通过理论分析保证了其测试性能。

Jul, 2022

在处理非均匀间隔的时间序列数据时，传统的循环模型表现不佳，研究人员通常会使用基于神经常微分方程的模型和基于 Transformer 的模型来解决长程依赖和不规则采样数据的问题。为了解决这一挑战，本文引入了 Rough Transformer，一种在连续时间表示中操作的 Transformer 模型，大大降低了计算成本。我们提出了 “多视图签名注意力”，使用路径签名增强了原始注意力机制，捕捉了输入数据的本地和全局依赖关系，并对序列长度和采样频率的变化保持鲁棒性，并获得了空间处理的改进效果。我们发现，Rough Transformers 在各种时间序列相关任务中始终优于传统的注意力机制，同时获得了神经常微分方程模型的表征优势，并且仅消耗计算时间和内存资源的一小部分。

May, 2024

本文使用数据驱动的方法，应用前沿的深度学习技术模拟三维湍流，考虑流体的物理约束，并使用向量量化自编码器等方法降低数据维度，应用 Transformer 网络预测流体运动趋势，所得结果优于其他网络，但不能完美还原小幅动态。

Dec, 2021

本文提出了一种混合框架，它将投影方程得到的不完美模型和基于数据流的递归神经网络 (LSTM) 相结合，在具有极端事件的挑战性系统中表现出更好的性能，特别是在数据稀疏的情况下。

Mar, 2018

本文提出了一种基于长短时记忆网络的多模态不规则时间序列事件的特征融合框架，能够提取复杂特征、捕捉非线性关系和时间依赖关系，并使用特征门控制不同张量的访问频率，实验证明该框架在 MIMIC-III 数据集上能显著优于现有方法。

Sep, 2022

本文提出了一种新的数据驱动建模范式，该范式可以同时学习动态和估计每次观察的测量误差。作者使用深度神经网络建模未知矢量场，并在非均匀时间步长的数据中加入龙格 - 库塔积分器，以约束和集中建模的工作。在多项标准测试问题中表现出本方法形成预测模型的能力，并表明它对大量测量误差具有强鲁棒性。

Aug, 2018

本文提出了一种新颖的端到端的贝叶斯深度模型，用于提供时间序列预测和不确定性估计，并成功地应用于 Uber 的大规模时间序列异常检测。

Sep, 2017

本文介绍了一种基于 FiLM 模型的深度学习算法，该算法使用 Legendre 多项式投影来近似历史信息，使用傅里叶投影来去除噪声，并且增加了一个低秩逼近来加速计算，实验结果表明这种算法大大提高了多元和单一长期预测的准确性，并且该方法可以作为一种普适的插件应用于深度学习中其他模块中以提高长期预测性能。

May, 2022

本篇论文研究了如何使用单变量时间序列预测复杂时间序列（如印度季风降雨量）。作者提出了一种新的 Moving Front 方法来防止数据泄漏，并使用经验小波变换将季风降雨量分解为较简单的构成序列。所提出的 EWT-MF-LSTM 模型表现出良好的预测性能。

Mar, 2023