TCLR: 视频表征的时序对比学习
TCE是一种自监督学习方法,利用无标签视频数据的内在结构在嵌入空间中明确强制执行时间上的连贯性,以便从大量无标签视频数据中学习出稳健的表示,该方法经过了对多个数据集的评估,能够继续改进视频动作识别的性能。
Mar, 2020
本文引入了一种基于对比损失的自监督对比视频表示学习方法,利用在嵌入空间中相同短视频的两个增强剪辑进行学习,同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识,在 Kinetics-600 数据集上,该方法可以超过 ImageNet 和 SimCLR 的性能,达到70.4%的top-1准确率
Aug, 2020
本篇论文提出了 Temporal-aware Contrastive self-supervised learning (TaCo)的方法,该方法通过选择一组强大的时态变换,不仅作为数据强化,还作为额外的自我监督来构成视频理解的重要组成部分,从而可以提高无监督视频表示学习,大幅改善了下游分类任务的成果。
Nov, 2020
提出了一种名为TCGL的自监督学习方法,通过建立图模型来学习视频的时序表示,利用“片段内”和“片段间”的时间依赖作为时序表示学习的自监督信号,在大规模行动识别和视频检索基准测试中展示了显著的性能优势。
Jan, 2021
本文提出了一种叫做“长短时对比学习(LSTCL)”的学习程序,可以让视频变压器模型在预测来自更长的时间范围内捕获的时序上下文的同时,学习一个有效的剪辑级表示,并在多项视频基准测试上取得了有竞争力的表现,成为有监督基于图像的预训练的有力替代方案。
Jun, 2021
该研究提出了一种基于段落的视频级对比学习方法,它使用全局上下文形成正样本,同时还结合了一个时间顺序正则化项来确保视频的时序结构,实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。
Aug, 2021
介绍了一种新的自监督对比学习方法,旨在从未标记的视频中学习表示。该方法利用新的约束条件,以建立对时间变换等价的表示,并更好地捕捉视频动态。实验表明,时间等变表示在UCF101,HMDB51和Diving48的视频检索和动作识别基准测试中实现了最先进的结果。
Dec, 2021
本文提出了一种新颖的对比行动表示学习(CARL)框架,用于以自我监督的方式学习帧级行动表示,特别是针对长视频。该框架包括一个简单而高效的视频编码器,以及应用于一系列时空数据增强的新颖序列对比损失(SCL)。我们通过FineGym,PennAction和Pouring数据集的实验证明,该方法在下游的细粒度行动分类任务上表现出明显的优越性。 令人惊讶的是,即使没有对配对视频进行训练,我们的方法在视频对齐和细粒度帧检索任务上也表现出了出色的性能。
Mar, 2022
本文提出一种新的跨架构对比学习(CACL)框架,用于自监督视频表示学习,使用3D CNN和视频变换器并行生成对比学习中多样化的正对,同时引入了一个具有明确视频序列编辑距离预测能力的时间自监督学习模块,用于学习强大的时序性表示,在UCF101和HMDB51数据集上表现卓越,超越VideoMoCo和MoCo + BE等现有技术。
May, 2022
本文提出了一种时间参数对比学习策略Latent Time Navigation (LTN),以捕捉细微的运动,从而增强视频表示学习模型中时间感知特性,使模型在fine-grained和面向人类的任务中的分类性能得到了显著提高。同时,在预训练于Kinetics-400数据集的基础上,该模型在UCF101和HMDB51数据集上也取得了state-of-the-art的行动识别性能。
May, 2023