Apr, 2021

无监督时空表征学习大规模研究

HTML
PDF
TL;DR本文通过对四个最新的基于图像的视角的统一，提出了一种可以很好地概括所有这些方法的简单目标，该目标鼓励同一视频中的时间持久特征，在不同的无监督框架、预训练数据集、下游数据集和骨干架构中效果惊人，我们从该研究中得出了一系列有趣的观察结果，例如，即使时间跨度为60秒，鼓励长时间持久性也可以很有效。
发现论文，激发创造
  • 用于因果关系 3D CNN 的递归卷积

    本文提出了一种新的3D CNN架构，即循环卷积网络，它通过递归来在每个网络层捕获帧之间的时间上下文，可以产生因果性输出，提供灵活的时间推理，同时保留时间分辨率，适用于在线和视频序列到序列建模等任务。

    Nov, 2018

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 无监督视频分解基于时空迭代推理

    该研究提出了一种新的时空迭代推理框架，用于联合建模复杂的多物体表示和帧间的显式时间依赖关系，在后验精化中利用2D-LSTM和时间条件推理和生成，以提高场景分解、分割和预测的能力，即使没有颜色信息也有高准确度。

    Jun, 2020

  • 时空对比视频表征学习

    本文引入了一种基于对比损失的自监督对比视频表示学习方法，利用在嵌入空间中相同短视频的两个增强剪辑进行学习，同时将来自不同视频的剪辑分开。这种自我监督学习方法需要好的数据增强和虚拟时间和模拟空间的知识，在 Kinetics-600 数据集上，该方法可以超过 ImageNet 和 SimCLR 的性能，达到70.4%的top-1准确率

    Aug, 2020

  • 通过发掘时空统计信息进行自监督视频表示学习

    本文旨在提出一种自监督视频表示学习的新型先验任务，通过计算一系列时空统计摘要信息，利用神经网络训练来产生摘要信息，采用多种空间分区模式进行粗略的空间位置编码方法来缓解学习难度，在四个3D骨干网络上的实验结果表明，该方法优于现有方法在视频分析任务上的性能表现包括动作识别、视频检索、动态场景识别和动作相似性标签。

    Aug, 2020

  • 基于时间空间预测网络的无监督迁移学习

    本文探讨了一种新的研究难题，即如何在多个时空预测任务之间进行非监督迁移学习，提出了一种不同iable记忆的方法，并应用于目标网络之中，在预测空间时间方面获得了显著提高。

    Sep, 2020

  • 利用视频连续性进行自监督的时空表征学习

    该文章提出了一种名为Continuity Perception Network (CPNet)的自我监督学习方法，旨在利用视频连续性探索视频表示的本质，提出三种新的任务，促进视频表示学习，其在多个任务中表现优异。

    Dec, 2021

  • 关于图像预训练在时空识别中的防御

    本文提出了一种将图像预训练作为时空外观先验来初始化三维卷积核的方法，并使用Spatial-Temporal Separable卷积对时空特征进行分解、微调。实验结果表明，该方法在不增加参数和计算的情况下，明显提高了视频识别的效果，并取得了较大的加速效果。

    May, 2022

  • 从自然剧本知识中学习可转移的时空表示

    本研究提出了一种利用语义转录排序来增强可转移的时空表示学习的方法，通过将视觉模型与自然转录的语言知识结合起来，使视频模型能够在时间上建立背景并重塑叙述性的转录，从而实现在多样化数据集上表现出色。

    Sep, 2022

  • 深度视频表示学习综述

    该论文提供了对视频表示学习的综述，对于顺序视觉数据的时空特征学习方法进行分类，并比较它们在视频分析中的优缺点。

    May, 2024