ICCVApr, 2017

利用姿态、动作和外观进行动作分类和检测的串联多流网络

PDF
TL;DR本文提出了一种网络体系结构，计算和整合了人类动作识别中最重要的视觉线索：姿态，运动和原始图像，并引入了马尔科夫链模型进行融合，在 HMDB51，J-HMDB 和 NTU RGB+D 数据集上达到最先进的动作分类性能和在 UCF101 和 J-HMDB 数据集上达到最先进的时空动作定位结果。
发现论文，激发创造
  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 基于姿态的 CNN 特征在动作识别中的应用

    本研究提出了一种基于人体姿势的卷积神经网络描述子（P-CNN），该描述子通过人类身体部位的轨迹聚合运动和外观信息，可以显著提高在 JHMDB 和 MPII Cooking 数据集上进行的人体动作识别的最新表现。

    Jun, 2015

  • 三流网络用于增强动作识别

    该论文提出了两种基于 CNN 的体系结构，包括三种流，可以分别捕捉不同速率的空间和时间信息，并使用双向 LSTM 和注意力机制进一步提高模型性能，实现了人类动作识别任务的最先进表现。

    Apr, 2021

  • 用于视频动作识别的双流卷积神经网络

    本文提出了一种基于深度卷积神经网络的两通道 ConvNet 架构，结合了空间和时间网络，利用稀疏光流信息进行训练并使用多任务学习提高模型性能，成功地提高了视频动作识别的准确率。

    Jun, 2014

  • 实时 3D 人体姿态估计和动作识别的多任务深度学习

    本研究提出了一种多任务学习框架，能够同时从单眼彩色图像中估算二维或三维的人体姿态并分类人体动作。通过参数共享与关键预测部分解耦等技术，该框架能有效地处理静态图像和视频剪辑，实现了 100 帧以上的速度，并在四个数据集上显著提高了预测能力。

    Dec, 2019

  • 姿势为行动 - 行动为姿势

    本研究提出一种基于人类行为信息以改善单目视频中的姿态估计的方法，运用具有高级信息的绘画结构模型，将高阶部分依赖性纳入考虑，通过建模行为专有的外观模型和姿态先验。同时，通过在姿态估计过程中使用统一的行为先验进行更新，而无需使用额外的昂贵的行为识别框架来较高效地估计动作先验。我们还展示了一定量的外观共享学习有助于姿态估计的正确性。该文在两个具有挑战性的数据集上进行了有效性验证，包含 80, 000 个测试图像。

    Mar, 2016

  • 使用多任务深度学习进行 2D/3D 姿势估计和动作识别

    本文提出了一种多任务框架，用于联合解决静态图像的二维和三维姿势估计及视频序列的人类动作识别问题。实现了端到端优化，与传统分开学习相比准确率显著提高，报告了使用该方法对 MPII、Human3.6M、Penn Action 和 NTU 四个数据集的测试结果，证明了其在目标任务上的有效性。

    Feb, 2018

  • IntegralAction: 基于姿态驱动的特征集成，实现视频中人类行为的稳健识别

    该研究提出了一种动作识别方法，通过动态组合外貌信息和姿势信息，实现在情境内外的动作视频数据集上高度鲁棒的性能表现。

    Jul, 2020

  • 隐式双流卷积网络用于行为识别

    本文提出了一种新的卷积神经网络结构，名为隐式双流卷积神经网络。它可以以端到端的方式处理视频帧并预测动作类别，而不需要显式计算光流，因此速度快于传统方法。实验证明，该方法在四个具有挑战性的动作识别数据集中表现显著优于上一个最佳的实时方法。

    Apr, 2017