基于历史序列预测未来序列的时空预测学习提供了一种自监督学习范式，主流方法利用循环单元进行建模，但循环单元的并行性不足，常常在现实场景中表现欠佳。为了在保持计算效率的同时提高预测质量，我们提出了一种创新的三元注意力变换器，在设计上捕捉了帧间动态与帧内静态特征。通过将 Triplet Attention Module (TAM) 整合到模型中，我们取代了传统的循环单元，并对时空和通道维度中的自注意力机制进行了深入探索。在这种配置下：(i) 时序标记包含了帧间的抽象表示，有助于捕捉固有的时序依赖性；(ii) 空间和通道的注意力结合，通过在空间和通道维度上进行细粒度交互来改进帧内表示。交替运用时序、空间和通道级别的注意力使得我们的方法能够学习更复杂的短程和长程时空依赖关系。广泛的实验表明，我们的方法在移动物体轨迹预测、交通流预测、驾驶场景预测和人体动作捕捉等多种场景下性能超过了现有的基于循环和非循环方法，达到了最先进水平。

Oct, 2023

在自监督学习中，时空预测学习在各个领域具有广泛的应用，本文通过重新审视时空预测学习的两种主要建模方法，提出了 USTEP（统一时空预测学习）框架，通过融合微观时空和宏观时空尺度，实现了对现有建模方法的显著改进，从而为广泛的时空应用提供了稳健的解决方案。

Oct, 2023

本文提出一种模块化的设计方法，将时空序列模型分解为空间编码器 - 解码器和预测器两个模块。通过在 KTH-Action 和 MovingMNIST 数据集上进行实验，我们提高了计算性能并获得了最先进的结果。

Oct, 2022

本文探讨了一种新的研究难题，即如何在多个时空预测任务之间进行非监督迁移学习，提出了一种不同 iable 记忆的方法，并应用于目标网络之中，在预测空间时间方面获得了显著提高。

Sep, 2020

本研究提出了一种基于空间 - 时间关系和注意力机制的面部动作单元检测框架，其中使用了空间 - 时间图卷积网络来捕捉动态面部动作单元的空间和时间关系，并使用自适应学习的边界权重来形成关系图。此外，为了学习 AU 之间的时空关系，我们提出了一种注意力机制，以自适应地学习区域注意力，并通过抑制不相关区域来提取每个 AU 的完整特征。实验结果显示，我们的方法在 BP4D 和 DISFA 基准测试中实现了显著的改进。

Jan, 2020

在无线和移动设备的广泛部署导致了时空数据的大量产生，我们提出了一个统一的回放式持续学习框架，用于实现对流数据的时空预测，避免灾难性遗忘并提高性能。

Apr, 2024

通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

Oct, 2018

本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

Jul, 2022

本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

May, 2024

该研究提出了一个融入下游基线模型并提升其性能的时空预训练框架，其中包括一个时空蒙版自编码器和一个自适应蒙版策略，通过学习时空依赖关系和不同关系的建模，在交通管理和旅行规划方面取得了显著的效果。

Nov, 2023