ContiFormer 是一种扩展了 Transformer 关系建模到连续时间领域的模型，将 Neural ODEs 的连续动态建模能力与 Transformer 的注意机制相结合，具有优越的建模能力和对于不规则时间序列数据的预测性能。

Feb, 2024

基于运算器学习的最近进展，本文提出了一种连续时空数据驱动建模框架，并通过三个数值实例研究了该框架的性能，结果证实了该建模框架的分辨率不变性，并展示了仅使用短期时间序列数据进行稳定长期模拟的能力，此外，也表明了通过混合优化方案，结合短期和长期数据，提出的模型能更好地预测长期统计数据。

Nov, 2023

提出了神经连续 - 离散状态空间模型 (NCDSSM)，用于对时间序列进行连续时间建模。该模型使用辅助变量进行识别和动态分离，从而仅需要为辅助变量进行摊销推理。通过连续离散滤波理论，提出了三种灵活的潜在动态参数化方法和一种能够较快地进行后验推理的训练目标函数。实验结果表明，NCDSSM 在多个基准数据集上都比现有模型具有更好的插补和预测性能。

Jan, 2023

在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

Mar, 2024

本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为 “时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。

May, 2023

引入一种新的可学习模块 ——Spatial Transformer，能够在现有的卷积网络结构中显式地允许对数据进行空间操作，从而使得模型得以学习对于平移、缩放、旋转以及基于更一般的扭曲变换的不变性，其模型表现在多个基准测试数据集上达到了最先进的水平。

Jun, 2015

该论文提出了一种新型的变换器模型，用于处理连续空间中数量庞大的空间点样本，包括多分辨率表示学习、粗略近似的空间注意力和不确定性量化分支，实验证明该模型在预测准确性方面优于多个基准模型。

Nov, 2023

基于机器学习的数据驱动方法在流体力学中提出了一种新的解决方案，通过通过在连续的空间和时间域中进行预测和插值来解决传统方法中的固定支持计算和预测的缺点。

Jan, 2024

本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

Jan, 2020

在无线和移动设备的广泛部署导致了时空数据的大量产生，我们提出了一个统一的回放式持续学习框架，用于实现对流数据的时空预测，避免灾难性遗忘并提高性能。

Apr, 2024