ConvFormer: 利用动态多头卷积注意力实现 Transformer 模型的参数减少,用于 3D 人体姿势估计
本研究提出一种基于 transformer 的算法,能够在视频中实现 3D 人体姿态估计,通过对空间和时间进行变换,对每一帧中人体关节关系进行建模,并在中心帧上输出准确的 3D 人体姿态,该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。
Mar, 2021
本文提出了使用多阶注意力模块与高阶关节关联的高阶有向变换器(HDFormer)进行人体姿势估计的新框架,该框架可以利用细粒度的人体先验知识来弥补现有方法在处理关节点重叠和快速变化时的不足,实现了实时准确的 3D 姿态估计。
Feb, 2023
提出了一种名为 Fusionformer 的方法用于 3D 人体姿态估计任务,通过引入自身轨迹模块、互相轨迹模块和全局空间时间特征以及局部关节轨迹特征的融合,最终通过姿势精炼网络来平衡 3D 投影的一致性,并在两个基准数据集上进行评估,结果表明与基线方法 poseformer 相比,在 Human3.6M 数据集上分别提高了 2.4%的 MPJPE 和 4.3%的 P-MPJPE。
Oct, 2022
本研究提出了一种名为 PoseFormerV2 的新型人体姿态估计方法,借助于在频域上紧凑的骨骼序列表示,以有效地扩大接受域并增强对噪声干扰的鲁棒性,进行时域和频域特征有效融合,相较于原始的 PoseFormer 和其他基于 transformer 的变体有更好的速度 - 准确性平衡。
Mar, 2023
本文提出了一种名为 Multi-Hypothesis Transformer (MHFormer) 的模型,旨在通过学习多个合理的姿势假设的空时表示,解决单目视频中的 3D 人体姿态估计问题,并在两个具有挑战性的数据集上取得了最新的最优结果。
Nov, 2021
我们提出了一种新颖的 Attention-GCNFormer(AGFormer)模块,通过使用两个并行的 Transformer 和 GCNFormer 流来减少通道数,以精确捕捉邻接关节之间的局部依赖关系。通过以适应性方式融合这两种表示,AGFormer 模块在学习底层 3D 结构方面表现出更好的能力。通过堆叠多个 AGFormer 模块,我们提出了四个不同变体的 MotionAGFormer 模型,可以根据速度 - 准确性的权衡来选择。我们在两个常用基准数据集 Human3.6M 和 MPI-INF-3DHP 上评估了我们的模型。MotionAGFormer-B 取得了最先进的结果,分别为 38.4mm 和 16.2mm 的 P1 错误率。值得注意的是,与 Human3.6M 数据集上的前一最先进模型相比,它使用了四分之一的参数,并且计算效率提高了三倍。该模型的代码和模型可在指定的网址上获得。
Oct, 2023
XFormer 是一种新型的人体网格和动作捕捉方法,能够仅用单目图像即可实现在普通 CPU 上的实时性能,并能够高效地训练于多种数据集,其关键在于跨模态的 transformer block。
May, 2023
介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络,通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互,提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节,实验结果表明其有效性和泛化能力。
May, 2024
本文提出了一种新颖的运动学和轨迹先验增强 Transformer(KTPFormer),它克服了现有基于 Transformer 的 3D 人体姿势估计方法的弱点,即其自注意机制中的 Q、K、V 向量的导出都基于简单的线性映射。我们提出了两个先验注意力模块,即运动学先验注意力(KPA)和轨迹先验注意力(TPA),利用已知的人体解剖结构和运动轨迹信息,以便在多头自注意力中有效学习全局依赖关系和特征。KPA 通过构建运动学拓扑来建模人体的运动学关系,而 TPA 构建轨迹拓扑来学习帧间的关节运动轨迹信息。借助先验知识生成的 Q、K、V 向量,这两个模块使 KTPFormer 能够同时建模空间和时间相关性。对三个基准数据集(Human3.6M、MPI-INF-3DHP 和 HumanEva)进行的大量实验证明,KTPFormer 在性能上优于现有的方法。更重要的是,我们的 KPA 和 TPA 模块具有轻量级的插拔设计,并且可以整合到各种基于 Transformer(例如基于扩散的)的网络中,仅在计算开销上略微增加性能。
Mar, 2024
我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架,利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性,实验结果表明我们的方法在 Human3.6M 数据集上表现出色。
Jan, 2024