通过基于图的 Transformer 模型 Forecaster 来解决时空相关数据处理中的空间依赖、时间依赖、数据非平稳性和数据异质性问题，并在预测出租车叫车需求问题中取得了显著的优势。

Sep, 2019

该论文提出了一种名为Earthformer的深度学习模型，通过利用cuboid attention机制，成功地应用于El Nino/Southern Oscillation (ENSO)的预测，该方法表现出了最新的性能。

Jul, 2022

利用GraphTransformers框架，在地理空间序列中进行轨迹预测，通过显式利用自动生成的图结构，可以显著改善地理空间轨迹预测。在HurDAT数据集上，我们的GraphTransformer方法明显优于基于Transformer的基准方法，用于基于6小时为间隔的飓风轨迹预测。

Oct, 2023

GeoFormer是一种基于GPT架构的解码器转换器模型，通过在HuMob Challenge 2023中的测试和排名中表现出色，在灾害准备、流行病控制等领域的人类流动性预测方面具有巨大潜力。

Nov, 2023

该研究论文提出了一种基于因果关系的理论解决方案，名为“Disentangled Contextual Adjustment (DCA)”，以及一种名为“Spatio-Temporal sElf-superVised dEconfounding (STEVE)”的框架，用于处理ST交通预测中的分布变化问题，以提高预测性能。实验结果表明，STEVE在各种不同的ST分布变化场景下始终优于现有技术基线。

Nov, 2023

通过将城市流动性数据视为复杂的多变量时间序列，利用时间动力学、交叉变量相关性和频域分析等方法进行精确可靠的预测。使用特殊的关注机制、低频滤波器和分层框架形成的SUMformer模型，在城市流动性模式建模和长期预测方面表现优异，超过当前三个真实数据集上的最先进方法。

Dec, 2023

通过引入TransFlower，一种可解释的、基于Transformer的模型，使用流量-流量注意力来预测城市通勤模式，我们的研究在运动力学方面取得了30.8%的改进，为城市规划和政策决策提供了重要的移动动态洞察。

Feb, 2024

基于大型语言模型和空间-时间依赖编码器的UrbanGPT在数据稀缺情况下实现了更全面、准确的空间-时间预测任务，显示了在零样本场景中建立大型语言模型的潜力。

Feb, 2024

我们在本文中提出了一种新颖的视觉-语言预训练模型（UrbanVLP），该模型能够无缝地整合来自宏观（卫星）和微观（街景）层面的多粒度信息，克服了先前预训练模型的局限性，提高了城市规划中的可解释性。我们的UrbanVLP模型还引入了自动生成文字描述和校准，通过生成高质量的城市图像描述，提升了在下游应用中的可解释性。大量的实验验证了UrbanVLP在六个社会经济任务上的卓越性能，我们还部署了一个网络平台验证其实用性。

Mar, 2024

本文提出了一种多层多视图增强时空Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明LVSTformer相比竞争基线模型实现了最先进的性能，最大改进幅度达到了4.32%。

Jun, 2024