Aug, 2023

动作引导的掩模技术用于时空表示学习

HTML
PDF
TL;DR我们提出了一种运动引导的掩蔽算法 (MGM)，通过利用运动矢量来引导每个掩蔽的位置，从而更高效地利用视频显著性，与先前的最先进方法相比，在两个具有挑战性的大规模视频基准 (Kinetics-400 和 Something-Something V2) 中，我们为视频 MAE 提供了 MGM 中的关键装备，并取得了高达 +1.3% 的改进。此外，我们的 MGM 只使用了最多 66% 的训练时期，就可以获得与先前的视频 MAE 相等的性能。最后，我们展示了 MGM 在 UCF101、HMDB51 和 Diving48 数据集上对下游迁移学习和领域自适应任务的更好泛化能力，与基线方法相比，取得了高达 +4.9% 的改进。
发现论文，激发创造
  • 基于遮挡自编码器的视频无监督预训练技术

    本文研究了使用VideoMAE进行自主监督视频预训练(SSVP)的数据高效性问题，并通过适当的视频屏蔽达到了良好的表现，进而证明数据质量对SSVP更加重要。

    Mar, 2022

  • 遮盖自编码器作为时空学习器

    研究了 Masked Autoencoders 在视频方面的应用，支持在没有时空归纳偏差的情况下，使用随机遮挡进行自编码器学习，观察到高比例遮挡可提高速度和表现，可以成为无监督学习的方法。

    May, 2022

  • 自监督视频表示学习的掩模运动编码

    提出了一种名为MME的预训练模型，旨在通过重建外观和运动信息来探索时序线索，从而改善视频表示性能。方法着重解决多帧间的长期运动和从稀疏视频中获取细粒度时序线索这两个关键问题，并通过重建模糊区域中代表位置和形状变化的运动轨迹，使预训练模型进一步预测运动细节。

    Oct, 2022

  • AdaMAE：自适应掩模自编码器实现高效时空学习

    本文提出了一种自适应掩蔽策略 AdaMAE，通过语义上下文采样网络有效地学习高空间时间信息的特征，达到更好的分类效果和更快的预训练速度。

    Nov, 2022

  • VideoMAE V2: 基于双重蒙版的视频自编码器扩展

    本文介绍了使用视频掩码自编码器（VideoMAE）进行可扩展和一般自监督预训练，用于构建视频基础模型和在各种下游任务中取得新的最先进表现的新方法。

    Mar, 2023

  • MGMAE: 视频蒙版自编码的运动引导掩蔽

    本文介绍了一种新的视频自编码方法，采用运动引导的掩模策略，通过引入运动信息建立时间一致的掩模体积，从而提高视频自编码的性能。通过实验证明，该方法在视频预训练中能够更有效地处理时间一致性和信息泄漏问题。

    Aug, 2023

  • 融合编码的自动编码器作为时空学习者

    本文介绍了链接蒙版自动编码器（CatMAE）作为自我监督视频表示学习的时空学习器，该方法使模型能够估计可见补丁之间的运动信息，匹配前后帧之间的对应关系，并最终学习场景的演变。此外，还提出了一种新的数据增强策略，ViRe，进一步鼓励模型利用连续运动细节和对应关系来完成重建，从而增强模型的能力。与最先进的预训练方法相比，CatMAE在视频分割任务和动作识别任务中取得了领先水平。

    Nov, 2023

  • 运动引导的令牌压缩用于高效的掩码视频建模

    通过提高FPS速率并使用MGTC方法，在视频理解方面取得了显著的性能提升，并在降低计算负担的同时保持了高的性能表现。

    Jan, 2024

  • VideoMAC: 视频蒙版自动编码器与卷积神经网络相遇

    这篇论文介绍了一种名为VideoMAC的新方法，结合了对视频帧进行对称遮罩的视频自编码器和资源友好的ConvNets，以及一种称为MVM的简单而有效的遮罩视频建模方法，通过在下游任务中的表现超过了基于ViT的方法。

    Feb, 2024

  • 文本引导的视频掩码自编码器

    本研究解决了现有视频掩码自编码器（MAE）在处理视觉信息时的局限性，提出了一种新颖的文本引导掩码算法（TGM），该算法基于与配对字幕的高度对应性来遮掩视频区域，而不依赖显式视觉线索。研究表明，TGM在视频识别任务中优于传统的掩码算法，展示了自然语言在视频建模中的互补价值。

    Aug, 2024