CVPRApr, 2021

静态图像中的自监督运动学习

PDF
TL;DR本文提出了一种自监督学习的方法 —— 通过分类静态图像生成的伪运动来学习运动信息，从而识别运动区域并改善动作识别的性能。在下游数据集上不需要调整参数即可发现大运动区域。
motionself-supervised learningmosiaction recognitionstatic images
发现论文，激发创造
  • 条件运动传递的自监督学习

    本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

    Mar, 2019

  • 优化预训练动作模型

    使用自我监督训练改进现有的有监督模型，通过将数据标记和训练分为两个不同的阶段，并结合简单的技术来稠密化和重平衡伪标签，从而在实际视频中实现可靠的增益，适用于短期（基于流）和长距离（多帧）像素跟踪。

    Jan, 2024

  • 静态图像中的运动预测

    该论文提出了一种新的方法，通过在一组视频中学习，从单个静态图像中预测运动，该方法利用结构随机森林和回归来学习局部运动模式，并在多种应用程序中添加预测的运动，例如弱帧提议、动作识别和运动显著性。研究表明，运动预测不仅可行，而且对多种应用程序提供有价值的信息。

    Mar, 2018

  • 通过预测动态和外观统计信息进行视频自监督时空表示学习

    在没有人工标注标签的前提下，本文提出了一种自我监督学习方法来学习视频的时空特征，通过回归时空维度上的外观和运动统计量来提取视觉特征，并在视频分类任务中验证了其有效性。

    Apr, 2019

  • 小规模视频识别的运动增强自训练

    本文介绍了一种称为 MotionFit 的自训练方法，采用 3D 卷积神经网络、运动模型和假标签来提高视频下游任务的效果。该方法在小规模视频数据集中表现优异，远超其他知识迁移算法、半监督学习和仅使用视频的自我监督学习。

    May, 2021

  • 姿势来自动作：基于运动的无监督学习姿势特征

    本文提出了一种从视频中自动学习姿态特征的无监督方法，该方法利用了动作信号这一与外貌互补且可用于监督的信号，使用一个外貌卷积神经网络和一个运动卷积神经网络来表示姿态和生成动作编码，通过在 FLIC、PASCAL、UCF101 和 HMDB51 数据集上的 fine-tuning 实验证明了其在静态图像动作识别和视频动作识别方面的优越性。

    Sep, 2016

  • 静态图像的动作幻觉用于动作识别的 Im2Flow 算法

    通过一个 encoder-decoder CNN 和 optical flow 方法，我们的研究为静态图像动作识别提供了一个新方法，即学习一个短期动态先验，在新的静态图像上推断预期的光流，成功地将学习的动作转移至标准的两流网络中，并且在七个数据集上表现出了良好的性能。

    Dec, 2017

  • 通过识别时间转换进行视频表示学习

    本研究提出了一种新颖的自监督学习方法来学习对于动态运动变化有响应的视频表征，通过训练神经网络来区分不同的时间变换的视频序列，使得无需人工标注数据即可准确地识别视频中的不稳定运动并增强神经网络在小数据集上的训练。该方法经过实验证明，可显著提高 UCF101 和 HMDB51 上的动作识别的传递性能。

    Jul, 2020

  • 自主驾驶的自监督支柱运动学习

    本文提出了一种基于点云数据和自监督学习的动态估计框架，旨在高效精确地估计自动驾驶汽车与其他动态交通参与者的相对运动状态，并在实验中表现出与有监督方法相当的竞争力。

    Apr, 2021

  • 通过上下文和运动解耦实现自监督视频表示学习

    本文提出了一种自监督学习的方法，通过在压缩视频中提取关键帧和动态向量来分别监督上下文和动态信息，并同时设计了两种预设任务，即上下文匹配任务和动态预测任务，以提高视频表示的质量和行动识别准确性。

    Apr, 2021