在自监督学习中，时空预测学习在各个领域具有广泛的应用，本文通过重新审视时空预测学习的两种主要建模方法，提出了 USTEP（统一时空预测学习）框架，通过融合微观时空和宏观时空尺度，实现了对现有建模方法的显著改进，从而为广泛的时空应用提供了稳健的解决方案。

Oct, 2023

本文提出一种空间 - 时间动态网络（STDN）进行交通预测，该网络引入流量控制机制来学习位置之间的动态相似性，设计周期移位关注机制来处理长期周期性时间移位，并在实际交通数据集上进行实验验证。

Mar, 2018

REPLAY 是一种通用的循环神经网络结构，通过融入时间变化的时空背景和平滑的时间戳嵌入来提高位置预测效果，并在真实数据集上表现出明显的优势。

Feb, 2024

本文探讨了一种新的研究难题，即如何在多个时空预测任务之间进行非监督迁移学习，提出了一种不同 iable 记忆的方法，并应用于目标网络之中，在预测空间时间方面获得了显著提高。

Sep, 2020

本文研究了时空预测学习方法，提出了一种通用框架，其中空间编码器和解码器捕获帧内特征，中间的时间模块捕获帧间相关性。我们提出了一种时间注意力单元（TAU）以并行化时间模块，并引入新的差异散度正则化以考虑帧间变化。广泛的实验证明，该方法使得模型在各种时空预测基准测试上具有竞争性能。

Jun, 2022

基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式，主流方法利用循环单元进行建模，但循环单元的并行性不足，常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量，我们提出了一种创新的三元注意力变换器，在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中，我们取代了传统的循环单元，并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下：(i) 时序标记包含了帧间的抽象表示，有助于捕捉固有的时序依赖性；(ii) 空间和通道的注意力结合，通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明，我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法，达到了最先进水平。

Oct, 2023

本文通过对四个最新的基于图像的视角的统一，提出了一种可以很好地概括所有这些方法的简单目标，该目标鼓励同一视频中的时间持久特征，在不同的无监督框架、预训练数据集、下游数据集和骨干架构中效果惊人，我们从该研究中得出了一系列有趣的观察结果，例如，即使时间跨度为 60 秒，鼓励长时间持久性也可以很有效。

Apr, 2021

该研究论文提出了一种物理引导的神经网络，利用频率增强的傅里叶模块和矩损失来增强模型估计时空动态的能力，并提出了具有物理约束的自适应二阶龙格 - 库塔方法，以更准确地建模物理状态。实验结果表明，该模型在时空预测和视频预测任务中表现出色，在多个数据集上具有最佳性能，而参数数量却更少。

May, 2024

介绍了基于多目标强化学习的时空早期预测模型，解决了提高早期预测准确性和确定每个区域最适合的预测时间的最优策略的问题。在三个大规模真实数据集上表现出了优异的性能，在早期时空预测任务中超越了现有方法。

Jun, 2024

本文提出了一种多层多视图增强时空 Transformer（LVSTformer）用于交通预测，该模型旨在从局部地理、全局语义和关键节点三个不同层次捕获空间依赖性，同时还具备长期和短期的时间依赖性，通过结合三种空间增强视图与三个并行空间自注意机制，模型可以全面捕获不同层次的空间依赖性，并且采用门控时间自注意机制有效捕捉长期和短期的时间依赖性。此外，在两个时空层之间引入了时空上下文广播模块，以确保注意力分配的均匀分布，缓解过拟合和信息损失，增强模型的泛化能力和鲁棒性。通过在六个知名交通基准上进行全面的实验，实验结果表明 LVSTformer 相比竞争基线模型实现了最先进的性能，最大改进幅度达到了 4.32%。

Jun, 2024