在医学背景下，基于时间序列的数据通常具有长程依赖并且在非均匀时间间隔下进行观察。为了解决这个问题，研究者们用基于神经 ODE 的模型取代了传统的基于序列的循环模型，来对不规则采样的数据进行建模，并使用基于 Transformer 的架构解决长程依赖的问题。尽管这两种方法都取得了成功，但是对于中等长度的输入序列而言，它们都需要非常高的计算代价。为了缓解这个问题，我们引入了 Rough Transformer，这是 Transformer 模型的一种变体，它能够对连续时间表示的输入序列进行操作，并且具有显著减少的计算代价，这对于处理医疗背景下的长程依赖是至关重要的。具体而言，我们提出了多视角签名注意力，它利用路径签名来增强原始注意力，并在输入数据中捕捉局部和全局依赖关系，同时对序列长度和采样频率的变化保持稳健性。我们发现，Rough Transformers 在合成和真实的时间序列任务中，始终优于其原始注意力对照组，并且只需要部分计算时间和存储资源，就能够获得基于神经 ODE 模型的好处。

Mar, 2024

提出了 Compatible Transformer (CoFormer)，一种基于 Transformer 的编码器，用于处理不规则多变量时间序列，并在分类和预测等下游任务中表现出显著的性能优势。

Oct, 2023

在处理非均匀间隔的时间序列数据时，传统的循环模型表现不佳，研究人员通常会使用基于神经常微分方程的模型和基于 Transformer 的模型来解决长程依赖和不规则采样数据的问题。为了解决这一挑战，本文引入了 Rough Transformer，一种在连续时间表示中操作的 Transformer 模型，大大降低了计算成本。我们提出了 “多视图签名注意力”，使用路径签名增强了原始注意力机制，捕捉了输入数据的本地和全局依赖关系，并对序列长度和采样频率的变化保持鲁棒性，并获得了空间处理的改进效果。我们发现，Rough Transformers 在各种时间序列相关任务中始终优于传统的注意力机制，同时获得了神经常微分方程模型的表征优势，并且仅消耗计算时间和内存资源的一小部分。

May, 2024

这篇论文介绍了一种新的基于 Continuous Spatiotemporal Transformer (CST) 的连续动态系统建模方法，能够通过 Sobolev 空间的优化保证连续且平滑输出，实现了对实验数据中脑电波等连续系统的建模，性能在各项任务中均优于传统的基于离散时间和空间的 Transformer 模型及其他动态系统建模方法。

Jan, 2023

通过将时间序列分成按天分割的小块，重新进行逐块方式处理并设计时间建模 Transformer-Dateformer，以提高 Transformers 模型的信息输入和输出并使模型能够全局分析时间序列，大幅提高了时间序列预测的准确性和半年的最大预测范围。

Jul, 2022

本文介绍了在不规则测量环境中，利用神经普通微分方程或神经流层来提高自回归递归神经网络性能的不同 CTRNN 体系结构，研究表明，在血糖概率预测方面，只有 LSTM 和 ODE-LSTM 体系结构与渐进提升树模型具有相当的性能。

Apr, 2023

该研究提出了一种使用隐式神经表示法的时间序列建模方法，能够有效捕捉时间序列的连续性，并提供对处理缺失数据、不规则采样或多个传感器的不对齐观测等常见问题的自然解决方案，并通过实验表明，在预测和填充任务中取得了最先进的性能，能够灵活处理各种具有挑战性的场景。

Jun, 2023

本论文讨论了长期时间序列预测 (LTTF) 中的 Transformer 模型，提出了一种有效的基于 Transformer 的模型 Conformer，采用编码器 - 解码器架构和正则化流派生的模块进一步提高信息利用率，并显式地建模时间序列数据中的互系列相关性和时间动态以加强下游自我关注机制，实验表明 Conformer 模型在 LTTF 中优于现有的方法，并可生成可靠的预测结果与不确定性量化。

Jan, 2023

以 Transformer 为基础的模型在天气预报中显示出了显著的潜力，但受到离散模型的限制，其学习连续的时空特征方面能力有限。本文提出了一种用于天气预报的时空连续视觉 Transformer 模型 Conformer，通过在多头注意力机制中实现连续性来学习连续的天气演变过程。在与一种先进的数值天气预报模型和其他深度学习基于天气预报模型的对比中，Conformer 在所有的时间引导下表现出优于部分现有数据驱动模型的性能，且仅使用分辨率较低的数据进行训练。

Feb, 2024

通过预测任务和设计的多核因果卷积，CausalFormer 学习时序数据的因果表达，并通过回归相关传播解释训练后的模型全局结构以构建因果图，从而在发现时序因果性方面实现了最先进的性能。

Jun, 2024