从像素到预测：频谱图和视觉变换器用于更好的时间序列预测

Mar, 2024

从像素到预测：频谱图和视觉变换器用于更好的时间序列预测

From Pixels to Predictions: Spectrogram and Vision Transformer for Better Time Series Forecasting

Zhen Zeng, Rachneet Kaur, Suchetha Siddagangappa, Tucker Balch, Manuela Veloso

TL;DR通过使用时间频谱图作为时间序列数据的可视表示，使用视觉变换器进行多模态学习的一种新方法，与统计基线、深度学习方法、其他视觉表示方法和只使用时间序列作为输入的研究进行对比，表明利用频谱图作为时间序列数据的可视表示具有优势，并且同时学习时间和频率域的优势。

Abstract

time series forecasting plays a crucial role in decision-making across various domains, but it presents significant challenges. Recent studies have explored image-driven approaches using computer vision models to address these challenges, often employing lineplots as the visual represe

time series forecasting image-driven approach time-frequency spectrograms vision transformer multimodal learning

发现论文，激发创造

时间序列作为图像：用于不规则采样时间序列的视觉 Transformer

本文旨在利用图像分类的方式，将不规则采样的时间序列转换为线图像，应用于医疗应用中的时间序列分类问题，大大简化了算法设计，同时在多个数据集上显示出良好的性能，特别是在具有挑战性的离散传感器设置中，绝对 F1 分数提高了 54.0％。

Mar, 2023

时间序列价值 64 词：使用 Transformer 进行长期预测

本文提出了一种基于 Transformer 的多元时间序列预测和自我监督表征学习的有效设计，它基于两个关键组件：时间序列划分为子序列级别的片段，这些片段作为输入标记传递给 Transformer；通道独立性，其中每个通道包含一个单变量时间序列，其在所有系列中共享相同的嵌入和 Transformer 权重。PatchTST 可以显著提高长期预测准确性，超越 SOTA Transformer-based models，并在自我监督预训练任务中实现出色的微调性能。

Nov, 2022

多视角声谱图变换器用于呼吸音分类

提出了一种 Multi-View Spectrogram Transformer (MVST) 模型，将深度神经网络应用于呼吸音频谱图的分类，通过将 mel-spectrogram 分为不同大小的 patches，使用 transformer encoders 提取 patches 之间的注意力信息，并设计了一种门控融合机制来加强多视图特征，在呼吸音分类任务上明显优于现有最先进方法。

Nov, 2023

SpectFormer：视觉 Transformer 中所需的频率和注意力

本研究旨在通过将谱层和多头注意力层结合起来提出 Spectformer 架构，该架构的表现优于其他转换器表示形式，特别是在图像识别任务中。

Apr, 2023

可解释的多时段时间序列预测的时间融合变压器

介绍了一种名为 Temporal Fusion Transformer（TFT）的基于注意机制的新型深度学习模型，以高效且可解释的方式解决多步预测中存在的多个输入和时间动态性问题，在实际数据集上表现出显著的性能和可解释性。

Dec, 2019

利用时间频率相关性和位置信息学习通过知识迁移增强情感辨识中基于谱图的准确度方法

本研究提出一种通过使用视觉转换器（ViT）关注频谱图中频率（y 轴）与时间（x 轴）之间的关联以及通过知识传递在 ViT 之间进行位置信息的传递的方法，从而提高语音情感识别（SER）的准确性，并通过验证实验结果表明，该方法在加权准确性和浮点运算次数（FLOPs）方面显著优于现有方法，同时提供了高效性和性能改进的有希望的解决方案。

Mar, 2024

利用 2D 信息进行长期时间序列预测的 Vanilla Transformer

通过 Transformer 架构，GridTST 模型将时间序列数据视为网格，结合创新的多方向关注机制，同时考虑时间和变量维度，提升了分析能力，并在各种真实数据集上实现了最先进的性能。

May, 2024

通过时间频率图像编码增强可穿戴传感器数据的深度学习适应性

本论文提出了一种新型的基于改进循环图像的时间频率信息表示法，着重于针对穿戴传感器数据的分类，结果表明该方法在活动识别方面相较于现有方法性能更佳。

Jul, 2023

时间序列中的 Transformers: 一项综述

本文系统地回顾了 Transformer 在时间序列建模中的运用，总结了其优点、局限性以及在网络结构、应用方面的适应性和修改，并对常见的时间序列任务进行了分类，包括预测、异常检测和分类。通过实证分析，研究了 Transformer 在时间序列中的表现，并提出了未来研究方向。这是第一篇全面系统地总结 Transformer 近期在时间序列数据建模领域进展的论文。

Feb, 2022

基于视觉 Transformer 的图像描述故事模型

该研究提出了一种基于 Vision Transformer 的模型来描述图像集，借助双向 LSTM 和注意力机制来捕捉图像的上下文信息和语义关系，模型在 Visual Story-Telling 数据集上的表现明显超过了目前的最先进模型。

Oct, 2022