Aug, 2023

图像和视频的三维人体姿态估计的双链约束

PDF
TL;DR本文提出了一种名为 Double-chain Graph Convolutional Transformer (DC-GCT) 的新模型，通过局部到全局和全局到局部的双链设计来约束姿势，并结合 GCN 和 Transformer 的优势以及基于自注意机制的局部约束模块和全局约束模块以及特征交互模块来完整捕捉人体关节之间的多级依赖关系，将时间信息引入单帧模型，并在计算成本几乎不增加的情况下通过将目标帧的关节嵌入来指导视频序列嵌入。实验结果表明，DC-GCT 在两个具有挑战性的数据集（Human3.6M 和 MPI-INF-3DHP）上达到了最先进的性能。值得注意的是，我们的模型在 Human3.6M 数据集的所有动作类别上都使用了 CPN 检测到的 2D 姿势，我们的代码可在此 URL 获取。
发现论文，激发创造
  • 三维单目视频多人姿势估计的图形和时间卷积网络

    提出了一种新的框架，将图卷积神经网络（GCNs）和时间卷积神经网络（TCNs）相结合，以强韧地估计无需摄像机参数即可实现相机中心多人 3D 姿态的方法。该方法利用可见关节和骨头信息来估计遮挡或缺失的人体部分信息，并结合使用 GCNs 和 TCNs 的方法。定量和定性评估表明，所提出的方法具有实际应用效果。

    Dec, 2020

  • 全局 - 局部自适应图卷积网络 用于 3D 人体

    通过使用全局本地自适应图卷积网络 (GLA-GCN) 并利用地面实况数据，作者针对 3D 人体姿势估计中的姿势抬升问题提出了一种简单而有效的模型设计，实验证明该设计在三个基准数据集上表现出了明显的优于现有方法的效果。

    Jul, 2023

  • 多图卷积网络用于姿态预测

    本文提出了一种基于多图卷积网络 (MGCN) 的三维人体姿势预测方法，该方法结合自然结构和序列注意力，同时捕获空间和时间信息，并在人体运动预测的基准数据集上表现出比现有方法更好的效果。

    Apr, 2023

  • 基于迭代图滤波网络的三维人体姿态估计

    本文介绍了一种基于迭代图滤波的框架，用于 3D 人体姿势估计，并通过高斯 - 塞德尔迭代法设计了 Gauss-Seidel 网络架构，利用邻接修正和跳跃连接等方法改善模型性能。实验结果表明，该方法在两个标准数据集上都超过了其他基准方法，达到了最先进性能。

    Jul, 2023

  • 多跳图变换网络用于 3D 人体姿势估计

    介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • 高效组合人体运动预测的动态组合图卷积网络

    通过提出一种综合人体动作预测任务的方法，使用图卷积网络 (GCN) 来生成合成动作并减少对复杂模型的需求，实现了高准确性的人体动作预测，同时减少计算成本。

    Nov, 2023

  • 基于运动指导的视频中三维姿态估计

    介绍了一种新的损失函数 motion loss，结合了一种有效表现关键点运动方式的编码方式 pairwise motion encoding 和一种新的图卷积神经网络结构 U-shaped GCN (UGCN)，并在 Human3.6M 和 MPI-INF-3DHP 两个数据集上实验证明它的有效性跑赢了其他顶尖的模型，并且还可以顺利适用于产生平滑的 3D 对应点序列和恢复对应点的运动。

    Apr, 2020

  • 时空可分离图卷积网络用于姿态预测

    研究提出了一种基于图卷积网络的新颖的空时可分图卷积网络 (STS-GCN)，它可以在一个单一的图框架内，完全捕捉动态演化和空间关节交互，并使用内部学习的空间和时间的关联矩阵，优于当前技术，在长期预测方面取得了超过 32% 的平均性能提升，在三种大型数据集上进行了实验验证，并且只需要 1.7％的参数。

    Oct, 2021

  • DC-GNet：用于 3D 人体形状重建的深度网格关系捕获图卷积网络

    本文提出了一种基于图卷积神经网络的深度网格关系捕捉方法，结合形状完整性任务实现单张图像的 3D 人体形状重建，通过在网格节点之间的深度关系编码来解决预定义邻接矩阵的局限性，并通过形状完成任务来学习各种遮挡情况的先验知识减轻了性能退化问题。

    Aug, 2021

  • 基于上下文的可解释的时空图卷积网络用于人体动作预测

    人体动作预测是自动驾驶和安全应用中仍然存在的重要问题，本文提出了基于上下文的可解释时空图卷积网络 (CIST-GCN) 作为一种有效的基于 GCNs 的三维人体姿势预测模型，通过特定层来增强模型的可解释性和提供有用的运动分布和身体行为信息，通过从姿势序列中提取有意义的信息、汇总位移和加速度到输入模型，并最终预测输出位移。在 Human 3.6M、AMASS、3DPW 和 ExPI 数据集上的广泛实验表明，CIST-GCN 在人体动作预测和鲁棒性方面优于以前的方法。鉴于提高运动预测的可解释性的想法具有一定的优势，我们在这里展示了相关实验证明了该想法，并进行了初步的评估。

    Feb, 2024