Nov, 2023

GPT-ST：时空图神经网络的生成式预训练

PDF
TL;DR该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。
spatio-temporal prediction techniquesend-to-end modelsspatio-temporal pre-training frameworkspatio-temporal mask autoencoderadaptive mask strategy
发现论文，激发创造
  • 增强型时空图神经网络预训练在多元时间序列预测中的应用

    本文介绍了一种新型的预训练框架，将 “可扩展时间序列预训练模型”（STEP）与 “空间 - 时间图神经网络”（STGNN）相结合，通过长期历史时间序列数据的预处理，提供上下文信息，显著提高预测准确性。

    Jun, 2022

  • 时空解耦掩码预训练用于交通预测

    通过使用掩码自编码器进行预训练，我们提出了一种新颖的框架 STD-MAE，用于准确预测多变量交通流时间序列，该框架能够学习和编码复杂的时空依赖关系，并通过隐含表示增强下游时空交通预测模型的能力。

    Dec, 2023

  • UrbanGPT：时空大型语言模型

    基于大型语言模型和空间 - 时间依赖编码器的 UrbanGPT 在数据稀缺情况下实现了更全面、准确的空间 - 时间预测任务，显示了在零样本场景中建立大型语言模型的潜力。

    Feb, 2024

  • 一个面向时空图传输学习的生成预训练框架

    我们提出了一种新颖的生成式预训练框架 GPDiff，用于解决智能城市应用中由于数据稀缺导致的空间 - 时间图 (STG) 学习问题。通过将 STG 迁移学习重新视为生成式超网络的预训练，我们的方法能够在多个真实数据集上显著优于现有方法，对于交通速度预测和人群流动预测等任务具有良好的适应性。

    Feb, 2024

  • 时空元对比学习

    提出了一种新的空间 - 时间对比学习（CL4ST）框架，通过 STG 的扩充范式来编码稳健和可推广的 STG 表示，实验证明 CL4ST 在交通和犯罪预测方面明显优于各种最先进的基准模型。

    Oct, 2023

  • GATGPT：基于图注意力网络的预训练大型语言模型用于时空填补

    在本研究中，我们提出了一种创新方法 GATGPT，它将已训练好的大型语言模型（LLM）与图注意机制相结合，用于时空插补。我们保持大部分 LLM 参数不变，以利用现有知识学习时间模式，并针对不同应用程序调整上层的微调。图注意组件增强了 LLM 理解空间关系的能力。通过对三个真实世界数据集的测试，我们的方法表现与已建立的深度学习基准相当。

    Nov, 2023

  • 改进时间序列表示学习的双向生成预训练

    通过时间序列数据的下一个令牌和上一个令牌的预测，BiTimelyGPT 在预训练任务中保留了时间序列的原始分布和数据形状，并展示了更具表现力的表示能力。使用生物信号数据，BiTimelyGPT 在预测神经功能、疾病诊断和生理迹象方面表现出优异性能。通过可视化注意力热图，我们观察到经过预训练的 BiTimelyGPT 能够从时间序列序列中识别出有区别性的片段，尤其是在任务微调之后。

    Feb, 2024

  • 揭示空间时间遮挡自编码器在多变量时间序列预测中的威力

    该研究提出了一种基于空间 - 时间蒙面自编码器（STMAE）的多元时间序列（MTS）预测框架，利用蒙面自编码器来增强空间 - 时间基线模型的性能，并通过在多个 MTS 基准上进行广泛实验来证明其在提高 MTS 预测能力方面的潜力。

    Sep, 2023

  • 交通流预测的自适应图空时转换网络

    该论文提出了一种基于自适应图形时空网络和 Transformer 的交叉空间时间注意力机制，在流量预测上的实验结果表明其具有更优秀的性能。

    Jul, 2022

  • 交通流量预测的时空转换网络

    本文提出了一种新的空间 - 时间变换网络的范例来改善长期交通预测的准确性，其中使用图神经网络和自注意机制来动态建模交通数据中的有向空间相关性，并利用跨多个时间步骤的长程双向时间依赖性。实验证明，该模型在 Real-world 数据集上预测交通流量方面的性能要好于现有工作。

    Jan, 2020