通过使用循环数据,本文提出了 CycleCL,一种特定设计用于周期性数据的自我监督学习方法。该方法利用预训练特征从同一个阶段近似采样一对帧以及不同阶段的负对帧,并通过优化特征编码器和重新采样三元组的方式来学习具备所提到的期望特性的特征。在工业和多个人类动作数据集上的评估表明,CycleCL 在所有任务中显著优于以往的基于视频的自我监督学习方法。
Nov, 2023
本文提出了一种名为 CCL 的基于聚类的对比学习方法,利用聚类得到的标签和视频约束来学习具有区分性的人脸特征,展示了该方法在视频人脸聚类的表征学习任务上的显著成果。
Apr, 2020
本文研究了自监督表示学习的核心方法之一 —— 图像内部不变性学习,提出了一种新的基于循环一致性的对比学习方法,探索了跨视频关系,实现了图像表示的有效学习,并在多个下游任务中获得了显著的改进。
May, 2021
本文提出一种新的跨架构对比学习(CACL)框架,用于自监督视频表示学习,使用 3D CNN 和视频变换器并行生成对比学习中多样化的正对,同时引入了一个具有明确视频序列编辑距离预测能力的时间自监督学习模块,用于学习强大的时序性表示,在 UCF101 和 HMDB51 数据集上表现卓越,超越 VideoMoCo 和 MoCo + BE 等现有技术。
May, 2022
通过使用循环一致性思想,引入循环对应损失(CCL)实现视角不变的密集描述符的学习,从而达到优于其他自监督方法且接近有监督方法的性能,无论是在关键点跟踪还是机器人抓取下游任务方面。
Jun, 2024
本文提出了一种自监督的方法,通过循环一致性来学习视觉对应关系,应用其学到的特征图表示可以在一系列视觉对应任务中取得较好的性能。
Mar, 2019
本文提出了一种基于 Motion-focused 对比学习的方法,利用光流采样和梯度图校准训练视频特征,加强了自监督视频表示学习中的数据增强和特征学习,实验结果表明方法有效,超过了传统监督预训练的表现。
Jan, 2022
本文提出了一种基于自我监督学习的视频时序对齐表征学习方法,其通过训练神经网络使用时间循环一致损失(TCC)来找到多个视频之间在时间上的对应关系,从而得到每一帧的表征,可用于快速地对视频进行对齐和分类。该方法在少量监督数据和其他自监督方法上都有较好的表现,同时还可用于多种视频应用领域的数据同步和异常检测。
Apr, 2019
本文引入了一种基于对比损失的自监督对比视频表示学习方法,利用在嵌入空间中相同短视频的两个增强剪辑进行学习,同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识,在 Kinetics-600 数据集上,该方法可以超过 ImageNet 和 SimCLR 的性能,达到 70.4% 的 top-1 准确率
Aug, 2020
本文提出了一种 Motion Sensitive Contrastive Learning (MSCL) 方法,将光流获取的运动信息注入到 RGB 帧中,强化特征学习,通过局部运动对比学习(LMCL),以及流旋转增强(FRA)和运动差分采样(MDS)等方法对其进行扩展,对标准基准数据集进行了广泛的实验,提高了 UCF101 和 Something-Something v2 的视频分类性能,并显著提高了 UCF101 的视频检索性能。
Aug, 2022