Aug, 2023

时空自适应嵌入使得 Vanilla Transformer 成为交通预测的最佳模型

PDF
TL;DR智能交通系统中，精确的交通预测是一项重要挑战。本研究提出了一种名为时空自适应嵌入的新型组件，可以通过使用传统的 Transformer 模型取得出色的结果，该模型在五个实际交通预测数据集上实现了最先进的性能，进一步实验证明时空自适应嵌入在交通预测中起着关键作用。
intelligent transportation systemtraffic forecastingneural networksspatio-temporal patternsspatio-temporal adaptive embedding transformer
发现论文，激发创造
  • 使用 Transformer 学习动态和分层交通时空特征

    本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

    Apr, 2021

  • 交通流量预测的时空转换网络

    本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

    Jan, 2020

  • 交通流预测的交通枢纽感知时空自适应图变换器

    提出了一个用于交通流量预测的增量学习方法，通过设计一种空间自注意模块和时间自注意模块，同时利用空间 - 时间图转换器捕捉交通流量数据中的空间和时间依赖关系，并通过空间 - 时间知识蒸馏模块进行增量学习。

    Oct, 2023

  • 交通流预测的自适应图空时转换网络

    该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

    Jul, 2022

  • 融合 Transformer 和时空自监督学习的长期交通预测

    利用混合 Transformer 和时空自监督学习的模型来提高长期交通预测的鲁棒性，该模型通过在交通数据的序列级和图级应用自适应数据增强技术来增强其鲁棒性，利用 Transformer 克服了循环神经网络在捕捉长期序列方面的局限性，并采用 Chebyshev 多项式图卷积来捕捉复杂的空间依赖关系。此外，考虑到时空异质性对交通速度的影响，我们设计了两个自监督学习任务来建模时空异质性，从而提高模型的准确性和泛化能力。在两个真实数据集 PeMS04 和 PeMS08 上进行了实验评估，结果进行了可视化和分析，证明了所提模型的卓越性能。

    Jan, 2024

  • 时空隐式神经表示作为广义交通数据学习器

    通过参数化空时交通数据（STTD）为隐式神经表示，我们提供了一种新的方法来解决 STTD 学习问题。通过在低维度范围内识别潜在动力学和分解空时交互作用，我们的方法能够进行各种 STTD 的建模，并展示了其在实际应用中的有效性。

    May, 2024

  • GTrans: 带有图嵌入的时空自回归变换器用于极端事件的实时预测

    提出了一种名为 GTrans 的时空模型，该模型将数据特征转换为图嵌入，并使用变压器模型预测时间动态，并能够对极端事件进行预测，可在社交网络，道路交通，物理和化学属性预测等领域应用。

    Jan, 2022

  • 一种轻量且准确的时空变换器用于交通预测

    ST-TIS 提出一种基于 Transformer 的轻量级交通预测方法，结合信息融合和区域采样技术，能够高效地处理区域之间动态的空间和时间依赖关系，相对于现有方法，能够实现更高的预测精度和更快的离线训练速度。

    Dec, 2021

  • 多通道时空变换器模型的交通流量预测

    提出了一个多通道时空变换模型用于交通流量预测，通过融合来自不同通道的交通数据结果，改善了预测准确性。该模型使用图卷积网络从每个通道提取空间特征，并使用基于变换器的体系结构捕捉通道之间的时间依赖性。在六个真实数据集上的实验证明，引入多通道机制到时间模型中提高了性能，并且在准确性方面优于现有模型。

    May, 2024

  • 交通预测中的时空变换器的再思考：多层多视角增强学习框架

    本文提出了一种多层多视图增强时空 Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明 LVSTformer 相比竞争基线模型实现了最先进的性能，最大改进幅度达到了 4.32%。

    Jun, 2024