ICCVSep, 2021

Skeleton-Graph: 使用深度时空图卷积神经网络从 2D 观测中进行长期 3D 运动预测

PDF
TL;DR本篇论文提出了 Skeleton-Graph 模型，采用深度时空图卷积神经网络来预测 2D 姿态下未来的 3D 骨架姿态，通过图形式地建立骨骼关节之间的空间关系以解决长期姿态预测过程中的分歧问题，并引入了新的评估指标来衡量长期预测分歧程度，实验证明 Skeleton-Graph 模型在 GTA-IM 和 PROX 数据集上均比之前的模型取得了更好的预测效果。
发现论文，激发创造
  • 学习骨架图神经网络用于艰难的 3D 姿态估计

    本研究提出了一种新的骨骼 GNN 学习解决方案，包括基于跳舞的分层通道压缩融合层和鲁棒且有效的图构建过程，该方法在人体姿态估计和基于骨骼的动作识别方面取得了超越同行的性能.

    Aug, 2021

  • 基于骨骼的动作识别的时空图卷积网络

    提出了一种基于空间 - 时间图卷积网络 (ST-GCN) 的骨架识别模型，该模型能够在不借助人工干预的情况下自动学习骨架在空间和时间上的表现，并且在动作识别以及泛化能力方面远优于之前的方法。

    Jan, 2018

  • 学习运动轨迹依赖关系进行人体动作预测

    本文提出了一种基于前馈深度网络的预测人体运动的方法，通过在运动轨迹空间而非传统的姿态空间中编码时间信息，同时使用通用的图卷积网络自动学习人体姿势的空间依赖关系，从而实现了超越以往人体运动预测方法的性能。

    Aug, 2019

  • 条件有向图卷积用于三维人体姿态估计

    本文提出一种基于有向图模型的 U 型结构的条件有向图卷积网络，用于从单目视频中进行 3D 人体姿势估计，实验结果表明有向图模型可以更好地利用人体骨骼的层次结构，而条件连接可以为不同的姿态产生自适应的图拓扑。

    Jul, 2021

  • 一种用于三维动作识别的骨架序列新表示方法

    本文提出了一种新的方法，使用骨架序列（即人类骨架关节的 3D 轨迹）进行三维动作识别，并使用深度神经网络进行空间时间特征学习和长期时间信息学习。实验结果表明该方法具有很好的识别效果。

    Mar, 2017

  • 基于时空修补的人体运动预测

    本文在三个主要方面提出了改进：（1）使用生成对抗网络（GAN）预测 3D 人体动作，（2）设计架构来学习身体姿势和全局动作的联合分布，（3）提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布，结果表明本文方法显著改善了现有技术，同时能够处理受到遮挡、噪声和丢失帧等影响的情况。

    Dec, 2018

  • 带骨骼姿态分解的考虑解剖学的三维人体姿态估计

    本研究提出了一种新的方法来进行视频中的 3D 人体姿势估计。在此方法中，作者从人类骨骼解剖学中获得灵感，将任务分解为骨方向预测和骨长度预测两个子任务，以从全局信息中进行高准确性的骨长度预测。作者进一步提出了全卷积传播体系结构和新型关节位移损失，用于预测不同骨头的方向，有效地提高了模型性能。最后，作者引入了隐式关注机制，将 2D 关键点可见性分数作为额外指导加入模型，显著减少了许多具有深度模糊的挑战性姿势。经过全面的评估，证实该模型在 Human3.6M 和 MPI-INF-3DHP 数据集上的效果优于之前的最佳结果。

    Feb, 2020

  • 基于时空 Inception 图卷积网络的基于骨架的动作识别

    通过对图形卷积网络中的拆分、变换、合并策略进行重新设计，我们构建了一个简单而高度模块化的图形卷积网络体系结构，用于骨架序列处理中的动作识别，并证明了其优于现有基于深度学习的方法。

    Nov, 2020

  • 基于骨骼的动作识别再探讨

    本文提出了基于 3D 热力图堆叠的 PoseC3D 方法，相较于基于图卷积网络的方法，能够更有效地学习时空特征、更具鲁棒性，并且适用于多人场景，同时在处理过程中也更加易于与其它视觉模态进行结合。在四个具有挑战性的数据集中，PoseC3D 方法均取得了卓越表现。

    Apr, 2021

  • 基于骨架的动作识别姿态优化图卷积网络

    本研究提出了一种高效的图卷积网络 Pose Refinement Graph Convolutional Network，通过逐步融合运动和空间信息以及尽早减少时间分辨率的并行结构，显式处理姿势误差，从而比其他图卷积网络具有更好的权衡精度，内存占用和处理时间，适用于机器人应用。

    Oct, 2020