Mar, 2023

Tubelet-Contrastive 自监督学习用于视频高效泛化

PDF
TL;DR本文提出了一种基于自监督学习的方法来学习着重于动态的视频表示。该方法使用合成的运动轨迹来学习不同视频之间的相似性，使其数据利用率非常高，并且在实验中表现出了竞争性能和泛化性能。
self-supervised learningmotion-focused videodata-efficientsimulated motion patternsgeneralizability
发现论文，激发创造
  • 使用管段提案网络进行视频目标检测

    该研究提出了一种基于 tubelet 提案网络和 LSTM 网络的视频对象检测框架，以在视频中高效地生成空间时间提案并融合时间信息以实现高精度的对象检测。

    Feb, 2017

  • 自监督视频 Transformer

    本研究提出了一种基于未标记视频数据进行自监督训练的视频 Transformer 方法。通过使用不同的空间大小和帧速率创建局部和全局的时空视图，实现了视频内 actions 的时空不变性，并且该方法不再需要使用负样本或专用存储器。该方法在动作识别基准数据集（Kinetics-400，UCF-101，HMDB-51 和 SSv2）上表现出色，并能够在小批量的情况下更快地收敛。

    Dec, 2021

  • 以动作为中心的对比学习视频表征

    本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

    Jan, 2022

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 时间等变对比视频表示学习

    介绍了一种新的自监督对比学习方法，旨在从未标记的视频中学习表示。该方法利用新的约束条件，以建立对时间变换等价的表示，并更好地捕捉视频动态。实验表明，时间等变表示在 UCF101，HMDB51 和 Diving48 的视频检索和动作识别基准测试中实现了最先进的结果。

    Dec, 2021

  • 优化预训练动作模型

    使用自我监督训练改进现有的有监督模型，通过将数据标记和训练分为两个不同的阶段，并结合简单的技术来稠密化和重平衡伪标签，从而在实际视频中实现可靠的增益，适用于短期（基于流）和长距离（多帧）像素跟踪。

    Jan, 2024

  • 时间至上：为视频 Transformer 提供时间自监督

    本文提出了一种面向视频任务的基于 Transformer 的模型，通过自监督学习并增加对视频帧之间时间轴的考虑，有效地消除了空间偏差，提升了模型对于时间动态的表征能力并实现了很好的视频分类效果。

    Jul, 2022

  • 自监督学习视频诱导视觉不变性

    通过使用 Video-Induced Visual Invariances (VIVI) 的自监督学习框架，本文提出了一种可以在 19 种视觉任务中实现超过最佳监督模型的自监督转移学习方法。

    Dec, 2019

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019