Aug, 2020

通过发掘时空统计信息进行自监督视频表示学习

HTML
PDF
TL;DR本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个3D骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。
发现论文，激发创造
  • 通过视频旋转预测进行自监督空时特征学习

    本文提出了3DRotNet，一种全自我监管的方法，用于从未标记的视频中学习空间时间特征来提高视频理解任务的性能

    Nov, 2018

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 稠密预测编码的视频表示学习

    本论文介绍了自监督学习，通过视频中的Dense Predictive Coding(DPC)框架形成具有密集的时空块的编码，利用课程训练方式预测未来，并在Kinetics-400数据集上进行实验，结果表明，DPC的自监督预训练性能超过了以前的方法，并接近于在ImageNet上预先训练的基线。

    Sep, 2019

  • 利用可变的回放速度预测视频的自监督视觉学习

    提出了一种无需标注数据的自我监督视觉学习方法，通过预测视频播放速度的变化来学习视频的时空视觉表示，同时运用可变播放速度下视觉外观的变化来学习整个视频的时空视觉特征，并提出了一种新的可应用于三维卷积神经网络的可靠的时间组归一化方法，最终在UCF-101和HMDB-51数据集上验证了该方法的有效性。

    Mar, 2020

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到70.4%的top-1准确率

    Aug, 2020

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 无监督时空表征学习大规模研究

    本文通过对四个最新的基于图像的视角的统一，提出了一种可以很好地概括所有这些方法的简单目标，该目标鼓励同一视频中的时间持久特征，在不同的无监督框架、预训练数据集、下游数据集和骨干架构中效果惊人，我们从该研究中得出了一系列有趣的观察结果，例如，即使时间跨度为60秒，鼓励长时间持久性也可以很有效。

    Apr, 2021

  • 具有自监督的情境化时空对比学习

    本文提出了一种基于上下文感知的时空对比学习（ConST-CL）的方法，该方法成功地实现了学习细粒度视频表示，利用区域预文本任务引导模型从一个视角到另一个视角转换，并整合整体和局部表示的并行学习过程。我们在多个数据集上评估了所学得的表示，并展示了ConST-CL在6个数据集上取得了具有竞争力的结果，包括Kinetics，UCF，HMDB，AVA-Kinetics，AVA和OTB。

    Dec, 2021

  • 利用视频连续性进行自监督的时空表征学习

    该文章提出了一种名为Continuity Perception Network (CPNet)的自我监督学习方法，旨在利用视频连续性探索视频表示的本质，提出三种新的任务，促进视频表示学习，其在多个任务中表现优异。

    Dec, 2021

  • 视频自监督学习综述

    本篇综述论文讨论了自监督学习在视频领域的应用，主要归纳了四种不同的自监督学习方法，分别为预测任务、生成式学习、对比学习和跨模态协议，并讨论了现有方法的局限性和未来发展方向。

    Jun, 2022