Aug, 2023

MOFO: 视频理解中的运动聚焦自监督

PDF
TL;DR我们提出了 MOFO（MOtion FOcused）作为一种新颖的自监督学习方法，着重于视频中的动作区域，用于行为识别。我们的方法可以显著提高目前自监督学习方法在行为识别中的性能，表明在自监督学习中明确编码动作的重要性。
self-supervised learningmotion-focusedrepresentation learningaction recognitionmotion information
发现论文，激发创造
  • 预测 MAE：基于掩码自编码器的运动预测的自监督预训练

    通过引入 Forecast-MAE，一种专为自我监督学习运动预测任务设计的掩模自编码器框架的扩展，利用标准 Transformer 块以及最小的内在偏差，我们在具有挑战性的 Argoverse 2 运动预测基准测试上进行的实验表明，Forecast-MAE 取得了与依赖于监督学习和复杂设计的最先进方法竞争性的性能，并且明显优于以前的自我监督学习方法。

    Aug, 2023

  • 静态图像中的自监督运动学习

    本文提出了一种自监督学习的方法 —— 通过分类静态图像生成的伪运动来学习运动信息，从而识别运动区域并改善动作识别的性能。在下游数据集上不需要调整参数即可发现大运动区域。

    Apr, 2021

  • 自监督学习在自动驾驶的运动预测中的应用

    本研究首次系统地探索和评估了将自我监督学习纳入动态预测的潜力，并建议使用四个自我监督学习任务进行动态预测，其中辅助自我监督任务不仅可以提高预测准确性，而且具有低推理时间和建筑复杂性。

    Jun, 2022

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • MoLo: 运动增强长短时序对比学习用于少样本动作识别

    这篇论文提出了一种基于运动学习和长短对比学习的方法，利用全局视频令牌来增强局部帧特征的长期时间感知，同时使用轻量级的运动自编码器来捕捉动作动态，为全面的少样本匹配提供长程时间上下文和运动线索

    Apr, 2023

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 基于伪标签再生和 BEVMix 的半监督类别无关运动预测

    本研究探索半监督学习在无类别依赖运动预测中的潜力，通过一致性自我训练范式、可靠伪标签选择和再生成模块以及数据增强策略，提出了一个半监督学习框架，其在使用较少标记数据的情况下能够超越自监督方法，并展现了与弱监督和一些全监督方法相当的性能水平，平衡了标注成本和性能的优点.

    Dec, 2023

  • 以动作为中心的对比学习视频表征

    本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

    Jan, 2022

  • 揭示分布偏移下视频自监督学习的隐藏动态

    本文在 17 个数据集上对 6 个自监督视频学习方法进行了全面的研究，其中 v-MAE 表现出强大的时间学习能力，而 v-SimCLR 和 v-MOCO 则展现出对视角变化的强大表现，同时观察到了闭集和开集识别表现的平衡问题。

    Jun, 2023

  • 无监督行动分割的 Action Shuffle 交替学习

    本文介绍了一种使用自监督学习和 RNN/HMM 算法实现无监督动作分割的方法，该方法优于现有技术在多个数据集上的表现。

    Apr, 2021