Mar, 2017

针对人类动作识别的姿态条件的时空关注

PDF
TL;DR通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。
发现论文，激发创造
  • 基于姿态注意力的手势人体动作识别

    本研究提出一种基于时空注意力机制的人体动作识别方法，采用外部信息（人的姿态）提取注意力分布，采用 RNN 实现注意力的递归处理，以实现自动关注动作中最活跃的手部，并检测最具区分度的动作要素，并在 NTU-RGB + D 数据集上获得最先进的结果。

    Dec, 2017

  • 一种基于时空注意力机制的人体动作识别端到端模型（来自骨架数据）

    本研究提出了一种基于 RNNs 和 LSTM 的空间和时间关注模型，用于从骨架数据中识别人类动作，实验结果表明该模型在 SBU 和 NTU 数据集上均取得了很好的效果。

    Nov, 2016

  • 可解释的时空注意力视频动作识别

    通过引入可解释的时空注意力机制来提高视频动作识别的准确性和模型解释性，并使用一组正则化器对其进行约束。利用弱监督的方式仅使用分类标签，模型不仅提高了准确性，还能时空自动定位区分性区域。

    Oct, 2018

  • 三流网络用于增强动作识别

    该论文提出了两种基于 CNN 的体系结构，包括三种流，可以分别捕捉不同速率的空间和时间信息，并使用双向 LSTM 和注意力机制进一步提高模型性能，实现了人类动作识别任务的最先进表现。

    Apr, 2021

  • 利用姿态、动作和外观进行动作分类和检测的串联多流网络

    本文提出了一种网络体系结构，计算和整合了人类动作识别中最重要的视觉线索：姿态，运动和原始图像，并引入了马尔科夫链模型进行融合，在 HMDB51，J-HMDB 和 NTU RGB+D 数据集上达到最先进的动作分类性能和在 UCF101 和 J-HMDB 数据集上达到最先进的时空动作定位结果。

    Apr, 2017

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 基于双流流程引导的卷积注意力网络用于动作识别

    本文提出了一种用于视频动作识别的两流光流引导卷积注意网络模型，通过正确补偿相机运动，可以用光流来引导关注人类前景，从而防止背景干扰，得到了良好的性能表现。

    Aug, 2017

  • 使用级联双注意力 CNN 和双向 GRU 框架的人体运动识别

    本文提出了一种空间 - 时间级联框架，利用深度学习算法提取人类活动的深入特征，并使用双向 Gated 循环单元进行长期时间建模和人类行为识别。实验结果表明，该方法与现有算法相比在帧每秒的执行时间方面提高了最多 167 倍。

    Aug, 2022

  • 实时 3D 人体姿态估计和动作识别的多任务深度学习

    本研究提出了一种多任务学习框架，能够同时从单眼彩色图像中估算二维或三维的人体姿态并分类人体动作。通过参数共享与关键预测部分解耦等技术，该框架能有效地处理静态图像和视频剪辑，实现了 100 帧以上的速度，并在四个数据集上显著提高了预测能力。

    Dec, 2019

  • 视频数据中人类行为识别的深度学习方法

    通过对深度学习模型的全面分析，这项研究揭示了卷积神经网络、循环神经网络和两流卷积神经网络在人体动作识别中的优势和性能差异，并强调了综合模型在实现强大的人体动作识别方面的潜力和优化的研究方向。

    Mar, 2024