在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

Apr, 2019

本文提出了一种新的空时网络（StNet）架构来进行局部和全局的空时建模，通过将 N 个连续的视频帧堆叠成一个超级图像，并对超级图像应用二维卷积来捕获局部空时关系，再对局部空时特征映射应用时间卷积来建模全局空时关系，该方法在动作识别方面优于现有技术，也在模型复杂度和准确度之间取得了理想的平衡，实验结果表明该方法可以广泛应用于视频表示的学习。

Nov, 2018

本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

Aug, 2020

本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

Jul, 2020

本篇论文研究了如何学习从视频中提取运动信息。作者提出可以将空间变换检测看作是检测图像序列和运动序列中的 features 同步，提出了一种基于本地乘法门控的快速学习规则，可以在只需花费特征学习时间的一小部分时间内实现在广泛的运动估计任务中竞争性的性能，并且可以通过一定的方法甚至跑过手工处理的时空特征。作者还揭示了学习同步的过程可以被视为在著名的运动能量模型中进行贪婪参数估计。

Jun, 2013

本文提出了一个基于 2D 框架的 STM 网络，利用 STM 块替换 ResNet 架构中的残差块，同时编码时空特征和动作特征，实现了高效的视频动作识别。实验证明，提出的方法在数据集 Something-Something v1&v2、Jester、Kinetics-400、UCF-101 和 HMDB-51 上性能优于其他现有方法。

Aug, 2019

本文提出了一种新颖的神经操作，通过在三个正交视图上进行 2D 卷积，协同编码了时空特征，并通过权值共享来促进空间和时间特征的学习，此方法在大规模基准测试中取得了最优性能，并通过对不同视图学习的系数进行量化，探讨了空间和时间特征的贡献，以提高模型的解释性并指导视频识别算法的设计。

Mar, 2019

本文针对噪声深度数据难以捕捉运动和形状线索的现状，提出了一种新颖的两层 “视觉词袋”（BoVW）模型。该模型通过背景建模和引入运动和形状线索生成稳健和独特的时空兴趣点，利用多尺度 3D 局部方向核 (M3DLSK) 描述算法和空间 - 时间向量 (STV) 描述算法，提出融合运动和形状线索的行动表示。实验验证了该模型在识别类似动作和抵抗背景杂波、部分遮挡和掩蔽噪声等情况中的有效性。

Dec, 2017

通过引入物理信息的神经网络，本文提出了解决空时视频超分辨率问题的方法，该方法能够准确处理大运动中的运动估计和运动补偿问题，并在固定大小和连续空时视频超分辨率任务中超过同类技术。

Apr, 2024

本文提出了一种基于 Temporal Saliency Integration (TSI) 块的运动识别方法，其中主要包含了 Salient Motion Excitation (SME) 模块和 Cross-perception Temporal Integration (CTI) 模块，通过这两个模块，可以高效地编码长短时序关系。

Jun, 2021