ECCVAug, 2022

基于运动敏感的对比学习方法用于自监督视频表征

PDF
TL;DR本文提出了一种 Motion Sensitive Contrastive Learning (MSCL) 方法，将光流获取的运动信息注入到 RGB 帧中，强化特征学习，通过局部运动对比学习（LMCL），以及流旋转增强（FRA）和运动差分采样（MDS）等方法对其进行扩展，对标准基准数据集进行了广泛的实验，提高了 UCF101 和 Something-Something v2 的视频分类性能，并显著提高了 UCF101 的视频检索性能。
发现论文，激发创造
  • 以动作为中心的对比学习视频表征

    本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

    Jan, 2022

  • 时空表示的双重对比学习

    该论文提出了一种新的双重对比学习框架来解决背景场景偏差问题并有效地学习时空表示，实验证明在 UCF-101，HMDB-51 和 Diving-48 数据集上具有最先进的性能。

    Jul, 2022

  • MaCLR: 面向视频的动态感知对比学习表征

    MaCLR 是一种新方法，通过视觉和运动模态之间的交叉模态学习，在 RGB 视频剪辑和动作路径之间富化标准对比学习目标，从而更关注前景运动区域，达到了自监督下行任务的最先进性能。

    Jun, 2021

  • 利用运动对比感知进行自监督视频表征学习

    本文提出了基于长程残差帧和运动对比知觉网络的视频表示学习方法，旨在通过自监督学习获得更多的运动特定信息，并通过对比学习提高模型的语义表达性能，实验结果表明该方法对于 UCF-101 和 HMDB-51 数据集具有较高的性能表现。

    Apr, 2022

  • 全局背景下的视频对比学习

    该研究提出了一种基于段落的视频级对比学习方法，它使用全局上下文形成正样本，同时还结合了一个时间顺序正则化项来确保视频的时序结构，实验证明该方法在动作分类、动作定位和视频检索等任务上能够超越现有的最先进方法。

    Aug, 2021

  • ContrastMotion: 大规模 LiDAR 点云自监督场景运动学习

    提出一种基于 LiDAR 的自主驾驶的自监督运动估计器，采用特征级一致性预测场景运动，使用 Soft 判别损失进行对比学习，使用门控多帧融合块自动学习点云帧之间的有效补偿，最终通过支柱关联预测支柱对应概率，进而预测场景运动。

    Apr, 2023

  • TCLR: 视频表征的时序对比学习

    本研究提出了一种新的时间对比学习框架，采用两个新的损失函数以提高现有自监督视频表示学习方法的性能，其中局部 - 局部时间对比损失和全局 - 局部时间对比损失实现了在各种下游视频理解任务中的显着改进。

    Jan, 2021

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • 密集预测任务的多级对比学习

    本文介绍了一种名为 Multi-Level Contrastive Learning for Dense Prediction Task (MCL) 的自监督学习方法，该方法通过实现一种装配多尺度图像的贡献任务，显式地编码绝对位置和比例信息，从而使神经网络能够学习区域语义表示。实验表明，MCL 在各种数据集上始终优于最新的现有方法。

    Apr, 2023

  • 自监督视频表示学习的 Cycle-Contrast

    通过 CCL 方法，我们可以自我学习视频表示，从而在基于视频的应用程序中实现更好的性能。

    Oct, 2020