本文提出了一种新的 Spatio-Temporal Self-Supervised Learning (ST-SSL) 交通预测框架以解决现有方法中存在的空间异质性和时间异质性问题，其中结合了时间和空间卷积以及自我监督辅助任务，实验结果表明，该方法在四个基准数据集上表现良好而且可适用于其他时空应用。

Dec, 2022

介绍了 Med-ST 框架，用于对多空间视图的胸部 X 射线图片和时间记录进行细粒度空间和时间建模，特别适用于时间分类任务。

May, 2024

本研究通过复制现有的最先进（SOTA）时空转换器模型，以尽可能符合计算限制，并批判性评估现有模型架构的优势和改进机会，以解决实时推理速度挑战，并在空间 - 时间 (ST) 关注层中引入专家混合 (MoE) 块来提高模型容量和降低推理成本。

May, 2024

提出了一种用于智能城市建设的自动时空多任务学习方法（AutoSTL），该方法利用先进的时空运算和共享模块来捕获和融合任务之间的内在关系并自动分配操作和融合权重。实验表明，该方法具有最先进的性能。

Apr, 2023

本综述论文介绍了自监督多模态学习（SSML）的现状和最新进展，对其目标函数、数据对准和模型架构三个方面进行分类，讨论了训练期间的多模态输入数据配对和对准策略，并回顾了用于图像文本和多模态视频的顶尖模型的具体表现及其在医疗保健、遥感和机器翻译等领域的实际应用。

Mar, 2023

利用混合 Transformer 和时空自监督学习的模型来提高长期交通预测的鲁棒性，该模型通过在交通数据的序列级和图级应用自适应数据增强技术来增强其鲁棒性，利用 Transformer 克服了循环神经网络在捕捉长期序列方面的局限性，并采用 Chebyshev 多项式图卷积来捕捉复杂的空间依赖关系。此外，考虑到时空异质性对交通速度的影响，我们设计了两个自监督学习任务来建模时空异质性，从而提高模型的准确性和泛化能力。在两个真实数据集 PeMS04 和 PeMS08 上进行了实验评估，结果进行了可视化和分析，证明了所提模型的卓越性能。

Jan, 2024

通过对时空序列预测 (STSF) 的三个子类别的对比和对 STSF 中两个主要挑战的综述，提供了一种机器学习解决方案，并为 STSF 领域提出了一些潜在的研究方向。

Aug, 2018

我们提出一种名为 STSM 的模型，通过对相邻具有记录数据的区域进行对比学习，从类似感兴趣区域的位置中学习，通过选择性的屏蔽策略实现学习，最终在交通和空气污染预测任务中优于现有模型，持续降低误差。

Jan, 2024

本文提出了一种多层多视图增强时空 Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明 LVSTformer 相比竞争基线模型实现了最先进的性能，最大改进幅度达到了 4.32%。

Jun, 2024

通过考虑短期气象变化和长期气候变化对作物的影响，基于多模态时空视觉变换器（MMST-ViT）开发了一个基于深度学习的解决方案，用于预测美国各县的作物产量，并展示其在三个性能指标上优于同类产品。

Sep, 2023