融合 Transformer 和时空自监督学习的长期交通预测

Jan, 2024

融合 Transformer 和时空自监督学习的长期交通预测

Hybrid Transformer and Spatial-Temporal Self-Supervised Learning for Long-term Traffic Prediction

Wang Zhu, Doudou Zhang, Baichao Long, Jianli Xiao

TL;DR利用混合 Transformer 和时空自监督学习的模型来提高长期交通预测的鲁棒性，该模型通过在交通数据的序列级和图级应用自适应数据增强技术来增强其鲁棒性，利用 Transformer 克服了循环神经网络在捕捉长期序列方面的局限性，并采用 Chebyshev 多项式图卷积来捕捉复杂的空间依赖关系。此外，考虑到时空异质性对交通速度的影响，我们设计了两个自监督学习任务来建模时空异质性，从而提高模型的准确性和泛化能力。在两个真实数据集 PeMS04 和 PeMS08 上进行了实验评估，结果进行了可视化和分析，证明了所提模型的卓越性能。

Abstract

long-term traffic prediction has always been a challenging task due to its dynamic temporal dependencies and complex spatial dependencies. In this paper, we propose a model that combines hybrid transformer and sp

long-term traffic prediction hybrid transformer spatio-temporal self-supervised learning adaptive data augmentation spatio-temporal heterogeneity

发现论文，激发创造

使用 Transformer 学习动态和分层交通时空特征

本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

Apr, 2021

交通预测中的时空变换器的再思考：多层多视角增强学习框架

本文提出了一种多层多视图增强时空 Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明 LVSTformer 相比竞争基线模型实现了最先进的性能，最大改进幅度达到了 4.32%。

Jun, 2024

交通流量预测的时空转换网络

本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

Jan, 2020

基于时空自监督学习的交通流量预测

本文提出了一种新的 Spatio-Temporal Self-Supervised Learning (ST-SSL) 交通预测框架以解决现有方法中存在的空间异质性和时间异质性问题，其中结合了时间和空间卷积以及自我监督辅助任务，实验结果表明，该方法在四个基准数据集上表现良好而且可适用于其他时空应用。

Dec, 2022

交通流预测的自适应图空时转换网络

该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

Jul, 2022

多通道时空变换器模型的交通流量预测

提出了一个多通道时空变换模型用于交通流量预测，通过融合来自不同通道的交通数据结果，改善了预测准确性。该模型使用图卷积网络从每个通道提取空间特征，并使用基于变换器的体系结构捕捉通道之间的时间依赖性。在六个真实数据集上的实验证明，引入多通道机制到时间模型中提高了性能，并且在准确性方面优于现有模型。

May, 2024

交通流预测的交通枢纽感知时空自适应图变换器

提出了一个用于交通流量预测的增量学习方法，通过设计一种空间自注意模块和时间自注意模块，同时利用空间 - 时间图转换器捕捉交通流量数据中的空间和时间依赖关系，并通过空间 - 时间知识蒸馏模块进行增量学习。

Oct, 2023

时空预测学习的三元注意力变换器

基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式，主流方法利用循环单元进行建模，但循环单元的并行性不足，常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量，我们提出了一种创新的三元注意力变换器，在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中，我们取代了传统的循环单元，并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下：(i) 时序标记包含了帧间的抽象表示，有助于捕捉固有的时序依赖性；(ii) 空间和通道的注意力结合，通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明，我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法，达到了最先进水平。

Oct, 2023

时空自适应嵌入使得 Vanilla Transformer 成为交通预测的最佳模型

智能交通系统中，精确的交通预测是一项重要挑战。本研究提出了一种名为时空自适应嵌入的新型组件，可以通过使用传统的 Transformer 模型取得出色的结果，该模型在五个实际交通预测数据集上实现了最先进的性能，进一步实验证明时空自适应嵌入在交通预测中起着关键作用。

Aug, 2023

多图时空图卷积网络用于交通流量预测

通过时空深度学习方法，提出了一个用于高速公路上每日交通流量预测的新方法，该方法通过数据归一化策略解决了网络全域收费站交通流量的数据不平衡问题，并基于图卷积网络构建了不同语义的网络来捕捉时空特征，同时利用气象和日历特征在全连接阶段提取交通流量的外部特征，经过大量实验证明该方法较基准模型在预测准确性方面有明显提升，并在商业领域带来实际效益。

Aug, 2023