MaCLR: 面向视频的动态感知对比学习表征
本文提出了一种基于 Motion-focused 对比学习的方法,利用光流采样和梯度图校准训练视频特征,加强了自监督视频表示学习中的数据增强和特征学习,实验结果表明方法有效,超过了传统监督预训练的表现。
Jan, 2022
本文提出了一种 Motion Sensitive Contrastive Learning (MSCL) 方法,将光流获取的运动信息注入到 RGB 帧中,强化特征学习,通过局部运动对比学习(LMCL),以及流旋转增强(FRA)和运动差分采样(MDS)等方法对其进行扩展,对标准基准数据集进行了广泛的实验,提高了 UCF101 和 Something-Something v2 的视频分类性能,并显著提高了 UCF101 的视频检索性能。
Aug, 2022
该论文提出了一种新的双重对比学习框架来解决背景场景偏差问题并有效地学习时空表示,实验证明在 UCF-101,HMDB-51 和 Diving-48 数据集上具有最先进的性能。
Jul, 2022
提出了一种新的对比损失方法 CrossCLR,能够实现跨模态嵌入学习中考虑嵌入空间中类内相似性,避免了同一内容被映射到多个点的问题,从而显著提高了视频与文本的检索和视频字幕生成的性能。该方法具有很好的普适性,可用于其他模态之间的联合嵌入学习。
Sep, 2021
本研究提出了一种新的时间对比学习框架,采用两个新的损失函数以提高现有自监督视频表示学习方法的性能,其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。
Jan, 2021
SimCLR 是一种简单的对比学习框架,通过定义有效的预测任务、引入可学习的非线性变换以及使用大型批次和更多的训练步骤来提高对比学习的效果,在 ImageNet 数据集上实现了比以往方法更好的自监督和半监督学习结果。
Feb, 2020
本研究提出了一种使用多视角补充监督信号的交叉视图对比学习框架,该框架涵盖了单视图对比学习和交叉视图一致性知识挖掘模块,能够在无监督设置下实现 NTU-60 和 NTU-120 数据集上卓越的动作识别结果。
Apr, 2021
通过合成图像和合成标题无需真实数据地学习视觉表征,SynCLR 方法在对合成图像进行对比学习的基础上,将得到的表征在多个下游任务中转移,与其他通用视觉表征学习算法相比,在图像分类任务中表现出色;此外,在诸如语义分割等密集预测任务中,SynCLR 比以往自监督方法有显著优势。
Dec, 2023
本研究提出了一种新的框架 MEACI-Net,采用 RGB 模态和运动模态,并针对压缩视频动作识别常见的问题,加入了 Motion Enhancement、Selective Motion Complement 和 Cross-Modality Augment 模块,实现了两种模态间的交互作用和特征增强,有效提高了识别准确率和计算效率。
May, 2022
本文介绍了一种名为 MoQuad 的方法,该方法采用了一种简单而有效的样本构建策略来提高视频对比学习中动作特征的学习效果,通过对正、负样本的外观和运动进行干扰,为每个视频实例创建四元组,使模型可以更好地利用运动信息。实验结果表明,在动作识别任务上,使用该方法进行预训练之后,模型在 UCF-101 数据集上达到了 93.7% 的准确率,超过以往的各种方法。
Dec, 2022