WSDMNov, 2023

MultiSPANS：一个用于交通预测的多范围时空 Transformer 网络通过结构熵优化

PDF
TL;DR我们提出的 MultiSPANS 框架通过使用多过滤卷积模块生成信息丰富的 ST-token 嵌入来捕捉复杂的多尺度依赖关系，借助 Transformers 来捕捉长时空距离依赖，并引入结构熵理论优化空间注意机制，进一步提出了相对结构熵位置编码和基于多层编码树的多头注意力掩蔽方案，实验证明这一框架在真实交通数据集上优于现有方法，并有效利用更长的历史观测窗口。
traffic forecastingmulti-range dependenciesmultispansspatial-temporal featuresroad network hierarchical knowledge
发现论文，激发创造
  • 交通流量预测的时空转换网络

    本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

    Jan, 2020

  • 交通流预测的自适应图空时转换网络

    该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

    Jul, 2022

  • 多通道时空变换器模型的交通流量预测

    提出了一个多通道时空变换模型用于交通流量预测，通过融合来自不同通道的交通数据结果，改善了预测准确性。该模型使用图卷积网络从每个通道提取空间特征，并使用基于变换器的体系结构捕捉通道之间的时间依赖性。在六个真实数据集上的实验证明，引入多通道机制到时间模型中提高了性能，并且在准确性方面优于现有模型。

    May, 2024

  • 多尺度时空循环网络用于交通流预测

    提出了一种多尺度空时循环神经网络 (MSSTRN) 用于交通流量预测，结合了两种不同的循环神经网络来捕捉不同时间窗口下的复杂空时信息，并通过自注意机制和自适应位置图卷积实现了空时依赖的同步捕捉，实验结果表明，该模型的预测准确性优于其他二十种基准方法。

    Oct, 2023

  • 交通预测中的时空变换器的再思考：多层多视角增强学习框架

    本文提出了一种多层多视图增强时空 Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明 LVSTformer 相比竞争基线模型实现了最先进的性能，最大改进幅度达到了 4.32%。

    Jun, 2024

  • 使用 Transformer 学习动态和分层交通时空特征

    本研究提出了 Traffic Transformer 模型，通过多头和掩码多头机制，动态地从数据中抽取时空特征，提高了交通预测性能，比现有技术表现更好。

    Apr, 2021

  • 时空自适应嵌入使得 Vanilla Transformer 成为交通预测的最佳模型

    智能交通系统中，精确的交通预测是一项重要挑战。本研究提出了一种名为时空自适应嵌入的新型组件，可以通过使用传统的 Transformer 模型取得出色的结果，该模型在五个实际交通预测数据集上实现了最先进的性能，进一步实验证明时空自适应嵌入在交通预测中起着关键作用。

    Aug, 2023

  • 融合 Transformer 和时空自监督学习的长期交通预测

    利用混合 Transformer 和时空自监督学习的模型来提高长期交通预测的鲁棒性，该模型通过在交通数据的序列级和图级应用自适应数据增强技术来增强其鲁棒性，利用 Transformer 克服了循环神经网络在捕捉长期序列方面的局限性，并采用 Chebyshev 多项式图卷积来捕捉复杂的空间依赖关系。此外，考虑到时空异质性对交通速度的影响，我们设计了两个自监督学习任务来建模时空异质性，从而提高模型的准确性和泛化能力。在两个真实数据集 PeMS04 和 PeMS08 上进行了实验评估，结果进行了可视化和分析，证明了所提模型的卓越性能。

    Jan, 2024

  • 多时空融合图循环神经网络用于交通预测

    本文提出了一种新的多时空融合图循环网络 (MSTFGRN) 用于交通预测，该网络提出了一种数据驱动的加权邻接矩阵生成方法以弥补预定义邻接矩阵无法反映实时空依赖性的缺陷，还通过在不同时刻的并行空时关系上执行新的双向时空融合操作来高效学习隐藏的空时依赖关系，并通过在空时融合模块中整合全局注意机制来同时捕获全局时空依赖性，实验结果表明，与其他交通预测技术相比，该方法在四个大规模真实世界交通数据集上实现了最先进的性能。

    May, 2022

  • Stecformer: 空间 - 时间编码叠加变换器用于多元长期时间序列预测

    本研究提出了一种完整的解决方案，包括特征提取和目标预测，旨在解决多变量长期时间序列预测中的空间特征提取和不同预测时期的一致性问题。新的方法称为 “时空编码串联变压器（Stecformer）”，其采用高效的时空编码提取器和级联解码预测器来改善基线模型的性能，并在五个基准数据集上实现了与基线模型可比较的最先进性能。

    May, 2023