本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

Apr, 2021

提出了一种名为 VITO 的简单范式，通过对动态视频帧的自我监督学习，有效地学习图像表示，该方法实现了视频预训练模型在语义分割和对象检测等任务上与 ImageNet 预训练模型性能相近甚至更好的表现，未来视频预训练有望成为学习图像表示的新默认方法。

Oct, 2022

本文提出了用于视频领域的自监督学习基准，并对数据集大小、数据分布、数据噪声、自监督预训练架构相关的五个不同方面进行了观察分析，同时提出一种新方法，不需要过多的训练数据，即可超越现有自监督预训练的先进水平。

Jun, 2023

本文提出了一种从原始视觉分组能力启动视觉表示学习的框架，操作化分组通过轮廓检测器，该检测器将图像分割成区域，并将这些区域合并成树形层次结构。实验表明，我们的方法朝着通用预训练方法的方向发展，其对下游任务有益，并可用于语义区域搜索和基于视频的对象实例跟踪。

Dec, 2020

本文介绍了一种新的多项选择视频问题回答（Video QA）的训练方案，其中包括自监督预训练阶段和监督对比学习的辅助学习。在自监督预训练阶段中，我们将原始问题格式进行了转化，以预测相关问题并提供模型更广泛的背景输入。然后，我们在对比学习的主阶段中添加了屏蔽噪声，并通过将正样本映射到受掩输入来改进模型表现。最后，我们采用了本地对齐注意力来更有效地关注相关字幕句子的视频帧。我们的实验结果表明，我们的模型在相关测试集上均取得了最先进的性能，并通过进一步的分析验证了我们的方法。

Sep, 2020

本文提出了一种多层次特征优化框架，利用高级别特征构建分布图并指导低中级别特征学习。同时，设计了简单的时间建模模块以增强运动模式学习，并证明了该方法可以大大提高视频理解中的表示能力。

Aug, 2021

提出一种新的自监督视频表示学习技术，通过将学习目标分解为两个对比子任务并分层进行，强调空间和时间特征，从而鼓励多尺度理解。通过实验表明，可以将增强作为规则化进行操作来指导网络在对比学习中学习所需的语义，并提出一种方式，使模型可以在多个尺度上分别捕捉空间和时间特征。还介绍了一种克服不同层次上实例不变性差异的方法。将代码公开。

Nov, 2020

本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

Aug, 2020

本文探讨了自我监督预训练和视觉定位内容关键字的效果，结果表明与相同架构的微调 BERT 模型相比，视觉定位预训练可以显著提高学习能力，并实现 14.5％的相对性能提升。

Apr, 2023

本研究提出一种基于层次 Transformer 的骨架序列编码器的自监督层次预训练方案 (Hi-TRS) 来捕捉视频级别、片段级别和帧级别的空间、短时和长时时间依赖关系，并在行动识别、行动检测和运动预测等骨架下游任务中实现了超越当前最好的性能水平。

Jul, 2022