Mar, 2022

一种通过姿势引导的粗到细框架进行部件级动作解析的方法

PDF
TL;DR该研究提出了一种用于行动识别的粗到细框架，旨在预测视频级别的行动，并识别视频中每个人体部分的帧级细粒度操作或交互，通过 Kinetics-TPS 的全面实验，该框架取得了最先进的性能，在 31.10％的 ROC 得分上优于现有方法。
action recognitionpart-level action parsingconvolutional neural networksfine-grained actionskinetics-tps
发现论文，激发创造
  • 通过时间动作解析实现内部和外部交互理解

    使用 TAPOS 数据集，针对深度学习在运动识别中的限制，提出了一种改进的时序划分方法，能挖掘出运动过程中的子动作信息，从而有效提高识别性能。

    May, 2020

  • 使用语义身体部位行为的单张图像动作识别

    本篇论文提出一种基于语义身体部位行为的新型单张图片行为识别算法，通过给人体的五个部位（头部，躯干，臂部，手和腿）定义不同语义的部位行动来识别人体动作，并且通过串联局部行动预测出整个身体的行动，最终在 PASCAL VOC 2012 和 Stanford-40 两个数据集上，相比 State-of-the-art 的准确率分别提高了 3.8% 和 2.6%。

    Dec, 2016

  • 通过从网络图像的域转移，在视频中对细粒度动作进行时间本地化

    本研究采用弱监督和跨领域转移学习的方法，结合深度卷积神经网络和长短时记忆网络，实现从未剪辑的网络视频中，对于精细的动作定位识别，并使用大量的数据集如 FGA-240 和 THUMOS 2014，得到了令人信服的结果。

    Apr, 2015

  • 在线动作和交互定位和预测

    本文提出了一种面向人的在线方法，用于视频中行动和互动的定位和预测。通过使用姿态估计和外观模型结合条件随机场和结构 SVM 方法，该方法可在数帧画面内准确地定位和预测动作和互动。

    Dec, 2016

  • 基于部位的动作划分和动作识别基础框架

    该技术报告介绍了我们在 ICCV DeeperAction Workshop 2021 中 Kinetics-TPS 轨道上解决了 Part-level Action Parsing 问题的方案，主要基于 YOLOF 进行实例和部位检测，HRNet 进行人体姿态估计，以及 CSN 进行视频层面的动作识别和帧级部位状态解析。我们描述了 Kinetics-TPS 数据集的技术细节和一些实验结果。在比赛中，我们在 Kinetics-TPS 测试集上达到了 61.37％的 mAP。

    Oct, 2021

  • 基于姿态的 CNN 特征在动作识别中的应用

    本研究提出了一种基于人体姿势的卷积神经网络描述子（P-CNN），该描述子通过人类身体部位的轨迹聚合运动和外观信息，可以显著提高在 JHMDB 和 MPII Cooking 数据集上进行的人体动作识别的最新表现。

    Jun, 2015

  • 多种词性嵌入实现细粒度动作检索

    该研究通过在视频配文中分离词性来丰富嵌入空间，提出了一种新的跨模态细粒度行为检索方法，同时在 EPIC 和 MSR-VTT 数据集上展示了比基准方法更好的结果。

    Aug, 2019

  • 深度视频中的多模态多部分学习与动作识别

    提出了一种基于结构稀疏性的联合稀疏回归学习方法，利用来自稀疏部位集的多模态特征的组合将每个动作建模为结构稀疏性，以此来表示各个部位的动态和外观。

    Jul, 2015

  • 细粒度姿态预测、归一化和识别

    本文提出了一种全卷积网络的方法，通过部位定位和关键点标注来实现表观的转化，以有效解决姿态变化和外观上的微妙差异在微细分类中的挑战。在 CUB200 测试集中表现出最新的性能，为强监督发挥了重要作用。

    Nov, 2015

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018