Dec, 2021

面具特征预测用于自监督视觉预训练

PDF
TL;DR本研究提出了 Masked Feature Prediction (MaskFeat) 方法，它使用随机遮挡的方式自我监督预训练视频模型，主要利用 Histograms of Oriented Gradients（HOG）这种手工特征描述符，探讨了 5 种不同的特征，并发现其中 HOG 在性能和效率方面表现出色，该方法在无需使用额外模型权重或监督的情况下，使用未标记视频预训练，可以实现 86.7％的 Kinetics-400 分类准确率，拥有出色的表现。
masked feature predictionself-supervised pre-traininghistograms of oriented gradientstransformer-based modelsunlabeled videos
发现论文，激发创造
  • 特征屏蔽建模：自下而上视频事件识别的无监督预训练图注意力网络块的特征屏蔽

    本文提出了一种新的方法，即遮蔽特征建模（MFM），用于无监督的图注意力网络（GAT）块的预训练。MFM 利用预训练的视觉令牌生成器重构视频中对象的遮蔽特征，利用 MiniKinetics 数据集。然后，将预训练的 GAT 块纳入最先进的自下而上的监督视频事件识别架构 ViGAT，以改进模型的起点和整体准确性。对 YLI-MED 数据集的实验评估表明，MFM 在改进事件识别性能方面是有效的。

    Aug, 2023

  • 遮蔽视频蒸馏：重新思考遮蔽特征建模，以进行自监督视频表示学习

    本文提出基于两阶段模型的掩模视频蒸馏方法 (MVD)，并采用空间 - 时间共同教学方法进行电影变换器的预训练，实验证明该方法对于多个视频数据集优于现有方法。

    Dec, 2022

  • GeoMAE：自监督点云预训练的掩蔽几何目标预测

    本文介绍了一种基于几何特征重建的点云表示学习框架，其中包括三个点云专有的自监督学习目标，即质心预测、表面法线估计和曲率预测。该框架采用自监督学习方法，创造有意义的任务，相互促进模型更好地推理点云的精细几何结构。通过训练后，该模型在物体检测、分割和多目标跟踪等任务上均实现了显著的表现提升。

    May, 2023

  • 重新思考基于视频学习视觉表示的特征预测

    该研究探讨了以特征预测作为无监督学习的独立目标，并介绍了 V-JEPA，一个仅使用特征预测目标进行训练的视觉模型集合，无需预训练图像编码器、文本、负样本、重建或其他监督方式。我们的研究结果表明，通过预测视频特征进行学习可以得到性能良好的通用视觉表示，适用于运动和外观相关的任务，无需调整模型参数，如冻结骨干网络。我们最大的模型，即仅使用视频进行训练的 ViT-H/16，在 Kinetics-400 上获得 81.9% 的准确率，在 Something-Something-v2 上获得 72.2% 的准确率，在 ImageNet1K 上获得 77.9% 的准确率。

    Feb, 2024

  • 通过对比掩模预测进行自监督视觉表示学习

    本文提出了一种基于掩模对比学习（CMP）的自监督视觉表示法，利用区域级特征对比而不是视角层级特征对比，以消除隐式的语义一致性假设并实现正样本的无假设定位。使用专门的掩模预测头解决了掩模和非掩模特征之间的域差异，实验结果表明该方法在自然数据集上获得了可比较的性能，并且在大量下游任务上比 MoCo V2 表现更强。

    Aug, 2021

  • 对比特征遮罩开放词汇视觉变换器

    CFM-ViT 是一种图像 - 文本预训练方法，具有对开放词汇目标检测进行图像和区域级别表示的同时学习能力。通过将掩码自编码器（MAE）目标与对比学习目标相结合，CFM-ViT 在联合图像 - 文本嵌入空间中进行重构，以比传统的 MAE 方法更好地学习区域级语义。此外，引入位置嵌入丢弃（PED）来解决图像 - 文本预训练和检测微调之间的尺度变化，从而提高检测性能并利用冻结的 ViT 骨干作为区域分类器，避免在检测微调过程中遗忘开放词汇知识。在 LVIS 开放词汇检测基准下，CFM-ViT 实现了 33.9 AP$r$ 的最新成果，超过最佳方法 7.6 个点，并在零样本检测转移方面取得更好的效果。最后，CFM-ViT 获得了强大的图像级表示，在 8 个零样本图像 - 文本检索基准中表现出了优于当前技术水平的成绩。

    Sep, 2023

  • FILS：自我监督的语义语言空间内视频特征预测

    利用全面的自我监督方式，在语义语言空间中通过预测视频特征的掩码语义来实现更具语义性的视频表示，该方法在下游动作识别任务中具有显著的传递性能，并在诸如 Epic-Kitchens、Something-SomethingV2、Charades-Ego 和 EGTEA 等具有挑战性的自我中心数据集上使用 ViT-Base 取得了最新的性能表现。

    Jun, 2024

  • 远程感知中基于特征引导的遮罩自编码器实现自监督学习

    以受限遮蔽图像模型为指导的自主学习在遥感中预训练视觉转换器方面引起了广泛关注。在本文中，我们探讨了光谱和空间遥感图像特征作为改进的自编码器重建目标。实验结果说明了 FG-MAE 在 SAR 图像方面的特殊增强效果，同时展示了 FG-MAE 的良好可扩展性，并发布了首批用于中分辨率 SAR 和多光谱图像的预训练视觉转换器。

    Oct, 2023

  • 点云视频的遮蔽空间 - 时间结构预测自监督学习

    本文提出了一种无需人工注释的点云视频结构预测方法（MaST-Pre），通过空间 - 时间点管掩蔽和自监督学习任务，捕捉了点云视频的外观信息和运动变化，有效地模拟了点云视频的空间和时间结构。大量实验证明了该方法的有效性。

    Aug, 2023

  • 自监督视觉预训练的掩码频率建模

    本文提出了一种基于频域的自监督预训练的方法，称作 Masked Frequency Modeling（MFM），通过在图像的频率分量上进行遮蔽，并预测其丢失的频率信息来学习图像的表示，实验证明该方法在图像分类、语义分割以及鲁棒性测试方面的性能优于其他最近的基于遮蔽的图像建模方法。此外，本文还全面调查了传统图像恢复任务对于从频域角度进行表示学习的有效性，并揭示了它们与 MFM 方法之间的有趣关系。

    Jun, 2022