May, 2021

小规模视频识别的运动增强自训练

PDF
TL;DR本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。
3d convolutional neural networkmotion modelpseudo-labelsmulti-clip lossself-training
发现论文，激发创造
  • 优化预训练动作模型

    使用自我监督训练改进现有的有监督模型，通过将数据标记和训练分为两个不同的阶段，并结合简单的技术来稠密化和重平衡伪标签，从而在实际视频中实现可靠的增益，适用于短期（基于流）和长距离（多帧）像素跟踪。

    Jan, 2024

  • 自监督学习的动作捕捉

    本文提出了一种基于学习的单摄像头动作捕捉模型，通过神经网络权重优化预测 3D 形状和骨架配置，结合合成数据的强监督和可微渲染的自监督，实现了在测试时间自适应，并展示了比传统优化方法更好的效果。

    Dec, 2017

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 以动作为中心的对比学习视频表征

    本文提出了一种基于 Motion-focused 对比学习的方法，利用光流采样和梯度图校准训练视频特征，加强了自监督视频表示学习中的数据增强和特征学习，实验结果表明方法有效，超过了传统监督预训练的表现。

    Jan, 2022

  • 条件运动传递的自监督学习

    本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

    Mar, 2019

  • 通过运动分组的自监督视频目标分割

    本研究介绍了一种基于运动线索的分割方法，使用 Transformer 网络结构，采用自我监督的方法进行训练，结果在公共基准测试中表现优异，证明在现有视频分割模型中，对于运动线索的重要性，以及对视觉外观存在潜在偏差的可能性。

    Apr, 2021

  • 基于运动敏感的对比学习方法用于自监督视频表征

    本文提出了一种 Motion Sensitive Contrastive Learning (MSCL) 方法，将光流获取的运动信息注入到 RGB 帧中，强化特征学习，通过局部运动对比学习（LMCL），以及流旋转增强（FRA）和运动差分采样（MDS）等方法对其进行扩展，对标准基准数据集进行了广泛的实验，提高了 UCF101 和 Something-Something v2 的视频分类性能，并显著提高了 UCF101 的视频检索性能。

    Aug, 2022

  • 静态图像中的自监督运动学习

    本文提出了一种自监督学习的方法 —— 通过分类静态图像生成的伪运动来学习运动信息，从而识别运动区域并改善动作识别的性能。在下游数据集上不需要调整参数即可发现大运动区域。

    Apr, 2021

  • 使用动作线索监督低数据环境下的单帧身体姿势和形状估计

    使用未标注视频作为监督信号，可以在没有足够的标注数据时提供额外的监督以优化网络权重，并与使用更多标注数据训练的方法相媲美。

    Feb, 2024