Dec, 2018

通过检测学习有区别的运动特征

PDF
TL;DR该研究提出了一种学习过程，使得检测模型能够从 RGB 视频数据中直接学习运动特征，我们在空间和时间上利用了可变形卷积来预测人的姿势，这自然地鼓励我们的网络学习编码两帧之间空间对应关系的运动偏移量，这些运动偏移量称为 DiMoFs（区分运动特征），并且推广了该模型用于时空行为本地化和细粒度动作识别。
motion featurespose estimationdeformable convolutionsdiscriminative motion featuresspatiotemporal action localization
发现论文，激发创造
  • 深度动作特征用于视觉跟踪

    本文提出一种通过深度学习中的运动特征与外观特征结合的方法，以提升视觉跟踪的精度与稳定性。经过广泛实验验证，该方法在视觉跟踪中表现出了较高的性能。

    Dec, 2016

  • 运动特征网络：固定动作滤波器用于动作识别

    本文介绍了一种使用运动块的 MFNet 网络，可以捕捉序列帧之间的时空信息，提高动作识别的性能，且可将其附加到现有的 CNN 框架中。通过在 Jester 和 Something-Something 两个数据集上训练，得到了有竞争力的表现。

    Jul, 2018

  • 在特征空间中学习运动：局部一致变形卷积网络用于细粒度动作检测

    本文提出了一种新颖的局部一致可变卷积，利用感受野变化并强制执行局部连贯性约束以有效捕获运动信息，其中时空组件是从特征空间而非像素空间学习的。最终结果表明，所提出的方法在两个动作细粒度数据集（Salads50 和 GTEA）上均显著优于原有的长期时间建模方法，分别取得了 80.22％和 75.39％的 F1 分数。

    Nov, 2018

  • MoDeep：基于运动特征的人体姿态估计深度学习框架

    本研究提出了一种新颖高效的卷积神经网络结构，其中融合了颜色和运动特征，可用于视频中的人类姿态估计。同时，作者还创建了包含运动特征的新数据集 FLIC-motion，并对其应用了该网络结构，结果表明其性能显著优于当前最先进的姿态检测系统。

    Sep, 2014

  • 视频中动作、前景和背景特征的分离

    本文介绍了一种非监督框架来提取视频表征的语义丰富特征，并提出了一个深度卷积神经网络来分离运动、前景和背景信息。实验结果表明，该网络可以在视频中成功分割前景和背景，并基于分离的运动特征更新前景外观。此处提供的预训练方法可以优于随机初始化和自动编码器预训练，促进了区分性分类任务。

    Jul, 2017

  • 重构运动表示：使用 3D ConvNets 剩余帧进行更好的动作识别

    本文提出了一种使用残差帧来提取运动特征的快速且有效的方法，通过将 RGB 帧替换为残差帧，从而取得了在 UCF101 和 HMDB51 数据集上 20.5% 和 12.5% 的准确率提升，在三个基准数据集上，我们的两步解决方案达到了比那些使用额外的光流方法更好或相当的性能，特别是在 Mini-kinetics 数据集上表现优异，表明残差帧是提取运动特征的良好补充。

    Jan, 2020

  • 学习表现力和可泛化的面部伪造检测运动特征

    基于视频分类方法，提出了一种基于序列的伪造检测框架，以帧一致性、运动特征、视频分类为关键，取得了在三个常见人脸伪造数据集上有希望的结果。

    Mar, 2024

  • 姿势来自动作：基于运动的无监督学习姿势特征

    本文提出了一种从视频中自动学习姿态特征的无监督方法，该方法利用了动作信号这一与外貌互补且可用于监督的信号，使用一个外貌卷积神经网络和一个运动卷积神经网络来表示姿态和生成动作编码，通过在 FLIC、PASCAL、UCF101 和 HMDB51 数据集上的 fine-tuning 实验证明了其在静态图像动作识别和视频动作识别方面的优越性。

    Sep, 2016

  • DynamoNet：动态动作和运动网络

    本文提出新的动态滤波器和动态运动表示（DMR）以改善人类动作识别，并使用 3D 卷积网络和多任务学习方法进行视频分类，实验结果表明 DynamoNet 对所有数据集具有很好的分类效果。

    Apr, 2019

  • 从视频中学习卷积神经网络中的动作提取

    本文提出了一种卷积神经网络用于从视频中提取密集的光流，旨在为深度架构构建潜在的模块，以允许在视频中使用运动而无需借助外部算法，通过考虑信号处理原则构建网络结构，强制 “旋转不变性”，并提供一种分布式表示运动的方法。

    Jan, 2016