通过序列对比学习获取长视频的逐帧动作表示

CVPRMar, 2022

通过序列对比学习获取长视频的逐帧动作表示

Frame-wise Action Representations for Long Videos via Sequence Contrastive Learning

Minghao Chen, Fangyun Wei, Chong Li, Deng Cai

TL;DR本文提出了一种新颖的对比行动表示学习（CARL）框架，用于以自我监督的方式学习帧级行动表示，特别是针对长视频。该框架包括一个简单而高效的视频编码器，以及应用于一系列时空数据增强的新颖序列对比损失（SCL）。我们通过 FineGym，PennAction 和 Pouring 数据集的实验证明，该方法在下游的细粒度行动分类任务上表现出明显的优越性。令人惊讶的是，即使没有对配对视频进行训练，我们的方法在视频对齐和细粒度帧检索任务上也表现出了出色的性能。

Abstract

Prior works on action representation learning mainly focus on designing various architectures to extract the global representations for short video clips. In contrast, many practical applications such as video alignment have strong demand for learning dense representations for

action representation learning long videos contrastive action representation learning self-supervised learning frame-wise representations

发现论文，激发创造

基于时序对比学习的细粒度弱监督时序动作定位

本论文旨在提高弱监督行动定位任务的性能，通过设计了 Fine-grained Sequence Distance（FSD）对比和 Longest Common Subsequence（LCS）对比两个互补型对比模块（Contrastive Objectives），解决了现有方法中分类学习与本地化学习之间的严重模糊性问题。

Mar, 2022

跨架构自监督视频表示学习

本文提出一种新的跨架构对比学习（CACL）框架，用于自监督视频表示学习，使用 3D CNN 和视频变换器并行生成对比学习中多样化的正对，同时引入了一个具有明确视频序列编辑距离预测能力的时间自监督学习模块，用于学习强大的时序性表示，在 UCF101 和 HMDB51 数据集上表现卓越，超越 VideoMoCo 和 MoCo + BE 等现有技术。

May, 2022

TCLR: 视频表征的时序对比学习

本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

Jan, 2021

自监督视频表示学习的 Cycle-Contrast

通过 CCL 方法，我们可以自我学习视频表示，从而在基于视频的应用程序中实现更好的性能。

Oct, 2020

全局背景下的视频对比学习

该研究提出了一种基于段落的视频级对比学习方法，它使用全局上下文形成正样本，同时还结合了一个时间顺序正则化项来确保视频的时序结构，实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。

Aug, 2021

时空对比视频表征学习

本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到 70.4% 的 top-1 准确率

Aug, 2020

以动作为中心的对比学习视频表征

本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

Jan, 2022

基于对比重构的自监督骨架动作识别表示学习

该论文提出了一种名为 CRRL 的新型对比重建表示学习网络，它通过无监督学习方式，同时捕捉姿态和运动动态，从而提高无标签数据的骨骼动作识别效果。在实验上，该方法在多个基准数据集上远远优于现有技术水平。

Nov, 2021

利用非对齐文本进行弱监督视频表示学习

本文提出了一种基于 transformer，支持弱监督下视频理解的方法，主要包括多粒度损失函数、伪造的帧 - 句对应关系等。在视频序列验证和文本匹配实验中表现良好。

Mar, 2023

通过全局时间对齐和循环一致性进行表征学习

本文提出了一种针对同一过程（如人类动作）的时间序列（例如视频）的弱监督表征学习方法，通过对全局时间序列进行对齐，并利用对齐的隐变量跨序列对的全局时间顺序作为监督信号进行表征学习，通过最优序列对齐进行嵌入网络的训练。通过大量实验表明，该方法在动作分类、少样本学习和视频同步等任务中均比之前的方法性能有了明显提高。

May, 2021