Dec, 2018

动作机器：重新思考裁剪视频中的动作识别

PDF
TL;DR本文提出了一种名为 Action Machine 的基于人物框架的行为识别方法，通过将 Inflated 3D ConvNet (I3D) 与人体姿态估计和基于姿态的行为识别相结合，实现了在裁剪视频中的高性能行为识别，并在多个数据集上取得了 State-of-the-Art 的表现。
video action recognitionperson-centric modelingaction machinei3dpose estimation
发现论文，激发创造
  • 视频动作转换网络

    本文介绍了行动转换器模型用于识别和定位视频剪辑中的人类动作，使用 Transformer 风格的架构聚合人物周围的时空背景特征，通过高分辨率、个性化、类别不可知的查询，该模型自动学习跟踪个人并从他人的动作中获取语义上下文

    Dec, 2018

  • 实时 3D 人体姿态估计和动作识别的多任务深度学习

    本研究提出了一种多任务学习框架，能够同时从单眼彩色图像中估算二维或三维的人体姿态并分类人体动作。通过参数共享与关键预测部分解耦等技术，该框架能有效地处理静态图像和视频剪辑，实现了 100 帧以上的速度，并在四个数据集上显著提高了预测能力。

    Dec, 2019

  • 使用多任务深度学习进行 2D/3D 姿势估计和动作识别

    本文提出了一种多任务框架，用于联合解决静态图像的二维和三维姿势估计及视频序列的人类动作识别问题。实现了端到端优化，与传统分开学习相比准确率显著提高，报告了使用该方法对 MPII、Human3.6M、Penn Action 和 NTU 四个数据集的测试结果，证明了其在目标任务上的有效性。

    Feb, 2018

  • 三流网络用于增强动作识别

    该论文提出了两种基于 CNN 的体系结构，包括三种流，可以分别捕捉不同速率的空间和时间信息，并使用双向 LSTM 和注意力机制进一步提高模型性能，实现了人类动作识别任务的最先进表现。

    Apr, 2021

  • 应用驱动的人类动作识别 AI 范式

    本文提出了一个可适用于多种应用场景的人体动作识别框架，包含多形式人体检测和对应动作分类两个模块。其中，通过构建开源数据集来训练多形式人体检测模型，从而识别人的整体、上半身或部分身体，并采用动作分类模型来识别跌倒、睡觉等动作。实验结果表明，该框架对于各种应用场景都是有效的，是一种新的面向应用的人体动作识别 AI 范式。

    Sep, 2022

  • 动作识别：从静态数据集到移动机器人

    通过利用 “提议（proposals）” 方法生成行为区域的模型训练，能够在无约束视频中实现人的行为识别，无论是否存在摄像头运动；该方法在两个新的数据集中取得了超越最先进技术的性能，同时在异常行为检测场景中取得较高的成功率。

    Jan, 2017

  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019

  • 人体动作识别的多视点室外数据集

    该论文提供了一个从多个角度观测人类行为的数据集，并在两流卷积神经网络结构配合核排名汇总的方法下获得了 74.0% 的动作识别准确率。

    Oct, 2021

  • 针对人类动作识别的姿态条件的时空关注

    通过利用多模态视频数据，并提出使用两种方法来识别人类行为，包括使用卷积模型处理姿势流，由可调节关注机制控制图片流，最后经过 LSTM 神经网络对不同姿态下的处理进行特征提取，能够在多数据集上大幅度的提高人类行为识别的效果。

    Mar, 2017

  • 用于 3D 视频中动作识别的双流 RNN/CNN

    本论文提出了一种通过将循环神经网络和卷积神经网络相结合运用于动作识别的算法，通过 SVM 对特征进行分类，实验结果表明，在标准数据集上，该算法提高了 14% 的识别率。

    Mar, 2017