Mar, 2020

利用可变的回放速度预测视频的自监督视觉学习

PDF
TL;DR提出了一种无需标注数据的自我监督视觉学习方法，通过预测视频播放速度的变化来学习视频的时空视觉表示，同时运用可变播放速度下视觉外观的变化来学习整个视频的时空视觉特征，并提出了一种新的可应用于三维卷积神经网络的可靠的时间组归一化方法，最终在 UCF-101 和 HMDB-51 数据集上验证了该方法的有效性。
self-supervised visual learningplayback speedsspatio-temporal visual variationtemporal group normalizationaction recognition
发现论文，激发创造
  • 基于运动预测的自监督视频表示学习

    本文提出了一种新的自监督视频表示学习方法，即通过视频速度预测的方法来引导网络学习空间 - 时间特征，通过对相似视频内容最大化协同一致性来使模型区分不同速度的视频。实验表明，该方法在不同网络结构和数据集上均取得了现有最佳结果。

    Aug, 2020

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • RSPNet：相对速度感知的无监督视频表示学习

    本文介绍了一种无监督的视频特征学习方法，利用相对播放速度来构建适当的自监督任务以同时学习运动与外貌特征，并在动作识别等下游任务中表现出色。

    Oct, 2020

  • 自监督时空表示学习中的视频播放速率感知

    本文提出一种名为 PRP 的自我监督方法，利用扩张采样策略生成关于视频播放速率的监督信号来学习空间时间表示，优于现有的自我监督模型，并应用于动作识别等基本视频任务。

    Jun, 2020

  • 时序自监督的音视频对比学习

    本文提出了一种自我监督学习方法，用于学习视频的表示，结合了 RGB 帧和相关的音频，通过多模式对比目标来扩展时间自我监督的音频 - 视觉设置，并提出了新的对比目标。

    Feb, 2023

  • ASCNet：具有外观 - 速度一致性的自监督视频表示学习

    本文提出了两个任务来学习视频外观和速度一致性，并在不使用额外模态或负样本进行无监督预训练的情况下，在 UCF-101 数据集上实现了 90.8％的准确率，这超过了 ImageNet 的有监督预训练模型。

    Jun, 2021

  • 通过发掘时空统计信息进行自监督视频表示学习

    本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个 3D 骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

    Aug, 2020

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • Video-ReTime: 学习时间重映射的时变速度

    我们提出了一种通过将神经网络训练到自我监督并识别以及准确定位视频播放速度变化，从而最大程度地保留自然视频动态的方法来生成一个与目标持续时间匹配的时间重映射视频。

    May, 2022

  • 视频表示学习中的视觉节奏一致性

    本文提出一种基于视觉节奏的自监督学习方法，通过 VTHCL 算法，最大化慢速和快速视频表示之间的互信息来学习视频表示，并在动作识别任务上实现了较为竞争的表现。

    Jun, 2020