通过使用时间频谱图作为时间序列数据的可视表示，使用视觉变换器进行多模态学习的一种新方法，与统计基线、深度学习方法、其他视觉表示方法和只使用时间序列作为输入的研究进行对比，表明利用频谱图作为时间序列数据的可视表示具有优势，并且同时学习时间和频率域的优势。

Mar, 2024

本文介绍一种基于变分自编码器和生成对抗网络的编码器 - 解码器框架，用于学习不规则采样的时间序列数据，提出了一种连续卷积层用于与现有神经网络体系结构高效对接。实验证明，该模型在不规则多元时间序列分类的结果上可以比最近的 RNN 模型表现得更好，同时具有显著更快的训练速度。

Aug, 2020

提出了 Compatible Transformer (CoFormer)，一种基于 Transformer 的编码器，用于处理不规则多变量时间序列，并在分类和预测等下游任务中表现出显著的性能优势。

Oct, 2023

提出了一种基于自监督变压器的多元时间序列数据建模方法，使用连续值嵌入技术对连续时间和变量值进行编码，避免了聚合或插值旧方法带来的问题，并利用自监督学习处理有限标记数据情况下的预测问题。在真实的多元临床时间序列基准数据集上进行了实验证明该方法的正确性。

Jul, 2021

本文综述了基于缺失数据和原始数据的深度学习方法在电子健康记录中的应用，总结了这些方法在数据恢复和下游任务方面的表现，并在四个医学数据集上比较了它们的效果。

Oct, 2020

本研究提出一种基于纯 Transformer 模型的视频分类方法，采用从图像分类中成功应用的模型。通过从输入视频中提取时空标记，并通过一系列 Transformer 层进行编码。为了处理视频中遇到的长序列，我们提出了一些高效的模型变体，可分解输入的空间和时间维度。尽管 Transformer 模型只在有大型训练数据集时有效，但我们展示了如何有效规范化模型，并利用预训练的图像模型，使得我们能够在相对较小的数据集上进行训练。我们进行了彻底的削减研究，并在多个视频分类基准测试中实现了最先进的结果，包括 Kinetics 400 和 600，Epic Kitchens，Something-Something v2 和 Moments in Time，优于基于深度 3D 卷积网络的先前方法。为了促进进一步的研究，我们在以下链接中发布了代码。

Mar, 2021

传统的卷积神经网络（CNN）在捕捉时间特征（即振动信号随时间的变化）方面存在局限性，为解决这个问题，本文引入了一种新颖的模型，即时间序列视觉变换器 (TSViT)，专门用于故障诊断。TSViT 模型一方面通过集成卷积层对振动信号进行分段并捕捉局部特征，另一方面采用变压器编码器来学习长时间序列的信息。在两个不同数据集上与其他方法进行的实验结果验证了 TSViT 的有效性和通用性，并对其超参数对模型性能、计算复杂度和整体参数数量的影响进行了比较分析。TSViT 在两个测试集上分别达到了 100% 和 99.99% 的平均准确率。

Nov, 2023

在物联网时代，物联网数据的高维和高频率给时序分类或回归带来了挑战，而深度学习算法在智能物联网应用中表现出了优异的时间序列数据分类性能。然而，发现时序中隐藏的动态模式和趋势仍然困难。近期的研究表明，将物联网数据转换为图像可以提高学习模型的性能。本文介绍了在物联网领域中使用图像转换 / 编码技术的研究进展，并根据其编码技术、数据类型和应用领域进行了综述。最后，我们强调了图像转换面临的挑战和未来的发展方向。

Nov, 2023

使用 SLAN（Switch LSTM Aggregate Network）模型，不需要填充缺失值即可对不规则采样时间序列（ISTS）进行建模，通过动态调整模型架构、利用不规则信息和全局摘要状态来实现对每个传感器的建模。

Sep, 2023

我们提出了一种基于内省的时间序列分析的新架构概念，其中关键是自监督预训练的时间序列表示模型（TSRM），可以在自动化和资源高效的方式下进行定制和微调，以实现特定任务，如预测和插补。我们的架构通过灵活和分层的表示学习过程对抗缺失数据和异常值，能够捕捉和学习给定时间序列类别（如心率数据）的结构、语义和关键模式的本地和全局特征。与现有方法相比，我们的架构提高了插补和预测误差，分别高达 90.34％和 71.54％，同时减少了可训练参数高达 92.43％。

May, 2024