CVPRFeb, 2018

使用多任务深度学习进行 2D/3D 姿势估计和动作识别

PDF
TL;DR本文提出了一种多任务框架，用于联合解决静态图像的二维和三维姿势估计及视频序列的人类动作识别问题。实现了端到端优化，与传统分开学习相比准确率显著提高，报告了使用该方法对 MPII、Human3.6M、Penn Action 和 NTU 四个数据集的测试结果，证明了其在目标任务上的有效性。
发现论文，激发创造
  • 实时 3D 人体姿态估计和动作识别的多任务深度学习

    本研究提出了一种多任务学习框架，能够同时从单眼彩色图像中估算二维或三维的人体姿态并分类人体动作。通过参数共享与关键预测部分解耦等技术，该框架能有效地处理静态图像和视频剪辑，实现了 100 帧以上的速度，并在四个数据集上显著提高了预测能力。

    Dec, 2019

  • 基于人体姿势的深度学习估计、跟踪和动作识别：综述

    该论文综述了基于深度学习的姿势分析应用，包括姿势估计、姿势跟踪和动作识别，并讨论了现有技术的优势和局限性，重点介绍了将这三个任务整合到视频序列的统一框架中的方法，并探讨了相关挑战和未来研究方向。

    Oct, 2023

  • 从多视角图像学习单目三维人体姿态估计

    本文提出了一种通过多视角的训练，使用一致性约束联合监督损失及惩罚项实现替代大量标注的 3D 人体姿态估计方法，并提出了一种联合估计相机姿态及人体姿态的方法，在 3D 人体姿态估计方面取得了良好的表现。

    Mar, 2018

  • 多人无标记数据 3D 姿势估计

    本文研究多人姿态估计问题，提出了一种基于多视图系统和深度学习的方法，通过使用图神经网络模型预测场景中不同人之间的视角对应关系，并使用多层感知器模型将 2D 点转换为每个人的 3D 姿态。该模型采用自监督学习方式进行训练，从而避免了对大规模 3D 数据集的依赖。

    Dec, 2022

  • 三维人体姿态估计 = 二维姿态估计 + 匹配

    本文探讨了通过 2D 姿态估计和 3D 运动捕捉数据简单推理得出三维人体姿态的方法，并演示了该方法优于目前大部分直接由 2D 测量回归三维姿态估计系统的现有方法。

    Dec, 2016

  • 深度多任务架构：用于 2D 和 3D 人体感知的集成

    该研究提出了一种深度多任务架构，用于在单眼图像中全自动进行 2D 和 3D 人体感应，包括识别和重建，通过多任务损失支持所有组件的联合训练以提高准确性和鲁棒性，实验结果显示该模型在所有处理水平上均可达到最先进的结果且在野外表现不亚于基于 RGB-D 数据的最先进商用 Kinect 系统。

    Jan, 2017

  • 姿态和关节感知动作识别

    本文提出了一种基于关节的动作识别模型，使用共享的运动编码器从每个关节分别提取运动特征，再通过联合推理的方式进行识别，同时引入了选定更具判别性关节的加权计算机制，关节对比损失技巧，以及基于几何感知的数据增强技术等方法，经实验证明，在 JHMDB，HMDB，Charades，AVA 动作识别数据集上，以及 Mimetics 数据集上，相对于当前最先进的基于关节行动识别方法有大幅度提升。同时与 RGB 和基于光流的方法进行了融合处理，以进一步提高性能。

    Oct, 2020

  • 学习融合 2D 和 3D 图像线索用于单眼人体姿态估计

    该研究利用深度学习在单目 3D 人体姿势估计领域提出了一种新型结构，可以同时从图像中推算出 3D 关节坐标和 2D 关节位置，使用可训练的融合方案使信息得以最佳融合，从而在标准的 3D 人体姿势估计基准测试中大幅提高了现有技术水平。

    Nov, 2016

  • 单图像三维人体姿态估计的双源方法

    本研究提出一种利用双重数据源，结合深度神经网络和运动捕捉数据，实现从单张图片中估计三维人体姿态的方法，并对该方法进行了全面评估。

    May, 2017

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017