Aug, 2023

图像和视频的三维人体姿态估计的双链约束

HTML
PDF
TL;DR本文提出了一种名为Double-chain Graph Convolutional Transformer (DC-GCT)的新模型，通过局部到全局和全局到局部的双链设计来约束姿势，并结合GCN和Transformer的优势以及基于自注意机制的局部约束模块和全局约束模块以及特征交互模块来完整捕捉人体关节之间的多级依赖关系，将时间信息引入单帧模型，并在计算成本几乎不增加的情况下通过将目标帧的关节嵌入来指导视频序列嵌入。实验结果表明，DC-GCT在两个具有挑战性的数据集（Human3.6M和MPI-INF-3DHP）上达到了最先进的性能。值得注意的是，我们的模型在Human3.6M数据集的所有动作类别上都使用了CPN检测到的2D姿势，我们的代码可在此URL获取。
发现论文，激发创造
  • 三维单目视频多人姿势估计的图形和时间卷积网络

    提出了一种新的框架，将图卷积神经网络（GCNs）和时间卷积神经网络（TCNs）相结合，以强韧地估计无需摄像机参数即可实现相机中心多人3D姿态的方法。该方法利用可见关节和骨头信息来估计遮挡或缺失的人体部分信息，并结合使用GCNs和TCNs的方法。定量和定性评估表明，所提出的方法具有实际应用效果。

    Dec, 2020

  • 条件有向图卷积用于三维人体姿态估计

    本文提出一种基于有向图模型的U型结构的条件有向图卷积网络，用于从单目视频中进行3D人体姿势估计，实验结果表明有向图模型可以更好地利用人体骨骼的层次结构，而条件连接可以为不同的姿态产生自适应的图拓扑。

    Jul, 2021

  • PoseFormerV2: 探索频域以实现高效和强韧的3D人体姿势估计

    本研究提出了一种名为PoseFormerV2的新型人体姿态估计方法，借助于在频域上紧凑的骨骼序列表示，以有效地扩大接受域并增强对噪声干扰的鲁棒性，进行时域和频域特征有效融合，相较于原始的PoseFormer和其他基于transformer的变体有更好的速度-准确性平衡。

    Mar, 2023

  • ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少，用于 3D 人体姿势估计

    本文提出了ConvFormer：一种新型的卷积变压器，新增了一种动态的多头卷积自注意机制用于单目3D人体姿势估计。通过对人体各关节点之间的关系进行建模，利用时间关节特征的新概念进行完全的时间信息融合，成功地在三个基准数据集上实现了SOTA水平的结果，相对于以前的变压器模型取得了显著的参数降低。

    Apr, 2023

  • 全局 - 局部自适应图卷积网络 用于 3D 人体

    通过使用全局本地自适应图卷积网络(GLA-GCN)并利用地面实况数据，作者针对3D人体姿势估计中的姿势抬升问题提出了一种简单而有效的模型设计，实验证明该设计在三个基准数据集上表现出了明显的优于现有方法的效果。

    Jul, 2023

  • 基于迭代图滤波网络的三维人体姿态估计

    本文介绍了一种基于迭代图滤波的框架，用于3D人体姿势估计，并通过高斯-塞德尔迭代法设计了Gauss-Seidel网络架构，利用邻接修正和跳跃连接等方法改善模型性能。实验结果表明，该方法在两个标准数据集上都超过了其他基准方法，达到了最先进性能。

    Jul, 2023

  • MotionAGFormer: 基于Transformer-GCNFormer网络的3D人体姿势估计增强

    我们提出了一种新颖的Attention-GCNFormer（AGFormer）模块，通过使用两个并行的Transformer和GCNFormer流来减少通道数，以精确捕捉邻接关节之间的局部依赖关系。通过以适应性方式融合这两种表示，AGFormer模块在学习底层3D结构方面表现出更好的能力。通过堆叠多个AGFormer模块，我们提出了四个不同变体的MotionAGFormer模型，可以根据速度-准确性的权衡来选择。我们在两个常用基准数据集Human3.6M和MPI-INF-3DHP上评估了我们的模型。MotionAGFormer-B取得了最先进的结果，分别为38.4mm和16.2mm的P1错误率。值得注意的是，与Human3.6M数据集上的前一最先进模型相比，它使用了四分之一的参数，并且计算效率提高了三倍。该模型的代码和模型可在指定的网址上获得。

    Oct, 2023

  • Quater-GCN: 用方向和半监督训练提升3D人体姿势估计

    通过结合方向性信息，引入Quater-GCN (Q-GCN)方法来提高3D人体姿势估计性能，并通过半监督训练策略利用无标签数据解决有限方向性的挑战。Q-GCN在与现有方法的综合评估中展现出优秀的性能。

    Apr, 2024

  • 多跳图变换网络用于3D人体姿势估计

    介绍了一个用于视频中2D到3D人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • 图和跳过的Transformer：利用空间和时间建模能力进行高效的三维人体姿势估计

    在这篇论文中，我们提出了一种全局方法来利用时空信息，采用紧凑的图和跳过Transformer架构实现高效的三维人体姿势估计。通过使用自适应拓扑的粗粒度身体部件构建空间图网络，在时序编码和解码阶段，使用简单有效的跳过Transformer捕捉长程时序依赖并实现分层特征聚合，同时引入动态信息到二维姿势序列中。通过在Human3.6M、MPI-INF-3DHP和Human-Eva基准测试集上进行广泛实验证明，G-SFormer系列方法相比之前的最新技术表现出更好的性能，仅具有约百分之十的参数量和显著降低的计算复杂度。此外，G-SFormer方法还对检测到的二维姿势不准确表现出卓越的鲁棒性。

    Jul, 2024