Feb, 2024

重新思考基于视频学习视觉表示的特征预测

PDF
TL;DR该研究探讨了以特征预测作为无监督学习的独立目标，并介绍了 V-JEPA，一个仅使用特征预测目标进行训练的视觉模型集合，无需预训练图像编码器、文本、负样本、重建或其他监督方式。我们的研究结果表明，通过预测视频特征进行学习可以得到性能良好的通用视觉表示，适用于运动和外观相关的任务，无需调整模型参数，如冻结骨干网络。我们最大的模型，即仅使用视频进行训练的 ViT-H/16，在 Kinetics-400 上获得 81.9% 的准确率，在 Something-Something-v2 上获得 72.2% 的准确率，在 ImageNet1K 上获得 77.9% 的准确率。
feature predictionunsupervised learningvideovisual representationsmotion and appearance-based tasks
发现论文，激发创造
  • 深度学习视频预测技术综述

    本文回顾了用于视频序列预测的深度学习方法，定义了视频预测的基础知识、强调其对表示学习的潜在能力和现有的方法，并提供了数据集和实验结果，以评估其在定量基础上的最新技术进展。最后，总结了这一领域的一般结论、未来的研究方向和挑战。

    Apr, 2020

  • 预测图像和视频字幕检索的文本视觉特征

    本文提出了一种基于视觉空间进行图像和视频描述检索的深度神经网络模型，通过多尺度句向量化和多层感知器等方法，将文本输入转化为视觉特征表示，实现了优于文本嵌入的多模态检索效果。

    Sep, 2017

  • 无标签视频中的物体中心表示学习

    本研究介绍了一种从未标记的视频中进行无监督学习的新方法，通过引入一种面向物体的时间相干性方法来促进学习具有相似表征的物体，并在多个基准数据集上展示了与竞争无监督方法相比显著的准确度提高。

    Dec, 2016

  • 野外视频中的表示学习：以对象为中心的方法

    该篇论文提出了一种从未加工过的视频中学习图像表示的方法，该方法将来自现成物体检测器的监督损失和自我监督损失相结合，取得了在 19 个迁移学习任务中有竞争力的结果，其中包括 18/19 的少样本学习任务和 8/8 的数据集泛化任务。

    Oct, 2020

  • 面具特征预测用于自监督视觉预训练

    本研究提出了 Masked Feature Prediction (MaskFeat) 方法，它使用随机遮挡的方式自我监督预训练视频模型，主要利用 Histograms of Oriented Gradients（HOG）这种手工特征描述符，探讨了 5 种不同的特征，并发现其中 HOG 在性能和效率方面表现出色，该方法在无需使用额外模型权重或监督的情况下，使用未标记视频预训练，可以实现 86.7％的 Kinetics-400 分类准确率，拥有出色的表现。

    Dec, 2021

  • 促使视觉 - 语言模型实现高效视频理解

    本研究提出了一种简单但强大的基准线以有效地适应预训练的 I-VL 模型，并利用其强大的资源 - hungry 视频理解任务的能力进行最小化的训练，通过几个随机向量连续提示向量进行优化，将视频相关任务转化为与预训练目标相同的格式。对于行动识别，动作定位和文本 - 视频检索的 10 个公共基准测试，尽管优化参数显著减少，但在封闭集，少量样本和零样本情况下，我们实现了与现有方法相当或最新的性能，实验上进行了广泛的消融研究以分析关键组件以与静态图像和视频之间的差距。

    Dec, 2021

  • 自监督视频预训练产生强大的图像表示

    提出了一种名为 VITO 的简单范式，通过对动态视频帧的自我监督学习，有效地学习图像表示，该方法实现了视频预训练模型在语义分割和对象检测等任务上与 ImageNet 预训练模型性能相近甚至更好的表现，未来视频预训练有望成为学习图像表示的新默认方法。

    Oct, 2022

  • 数据增强的特征重新学习用于视频相关性预测

    本研究提出了利用特征重学习和三元组排序损失优化视频内容表示的方法，同时提高数据增强策略在帧和视频层级上的应用。在 Hulu 基于内容的视频相关性预测 Challenge 2018 中，本方法表现优异，为内容相关性预测领域提供了创新的思路和技术。

    Apr, 2020

  • 视频预测模型作为通用视觉编码器

    本研究探讨了开源视频条件生成模型作为下游任务的编码器的潜力，重点研究了使用 BAIR 机器人推动数据集进行实例分割。研究人员提出使用视频预测模型作为通用视觉编码器，利用其捕捉关键的时空信息的能力，对实例分割等任务至关重要。受人类视觉研究的启发，尤其是共同命运的格式原则，该方法旨在开发一个能够有效区分前景与背景信息的运动性的潜在空间。研究人员利用一个基于 3D 向量量化变分自编码器（3D VQVAE）的视频生成编码器模型，以输入帧作为条件，并结合下游分割任务。实验涉及对预训练视频生成模型进行自适应，分析它们的潜在空间，并训练用于前景 - 背景分割的自定义解码器。研究结果展示了利用生成式前提学习进行下游任务的有希望结果，为计算机视觉应用中的场景分析和分割工作提供了进展。

    May, 2024

  • 无监督层次化长期视频预测

    本文提出了一种基于神经网络的 Hierarchical Encoder-Decoder 模型，通过对输入帧进行编码，预测高级别的特征，再通过解码器生成预测图像，同时采用了对抗性损失以训练预测器，该方法可以进行 20 秒预测，并在 Human 3.6M 数据集上取得了更好的结果。

    Jun, 2018