Mar, 2021

基于步长变换器的时序上下文利用在三维人体姿态估计中的应用

PDF
TL;DR本文提出改进的基于 Transformer 的 Strided Transformer 架构，以简单有效地将冗余的 2D 姿势序列提升到单个 3D 姿势。通过给 Vanilla Transformer 编码器换成步幅卷积的方式，降低了序列的冗余性，同时设计了全 - 单监督方案来约束输出，从而在两个基准数据集上获得了最佳结果并减少了参数。
3d pose estimationtransformer-based architecturesupervisionlong-range dependenciessmoother and more accurate poses
发现论文，激发创造
  • 图和跳过的 Transformer：利用空间和时间建模能力进行高效的三维人体姿势估计

    在这篇论文中，我们提出了一种全局方法来利用时空信息，采用紧凑的图和跳过 Transformer 架构实现高效的三维人体姿势估计。通过使用自适应拓扑的粗粒度身体部件构建空间图网络，在时序编码和解码阶段，使用简单有效的跳过 Transformer 捕捉长程时序依赖并实现分层特征聚合，同时引入动态信息到二维姿势序列中。通过在 Human3.6M、MPI-INF-3DHP 和 Human-Eva 基准测试集上进行广泛实验证明，G-SFormer 系列方法相比之前的最新技术表现出更好的性能，仅具有约百分之十的参数量和显著降低的计算复杂度。此外，G-SFormer 方法还对检测到的二维姿势不准确表现出卓越的鲁棒性。

    Jul, 2024

  • MixSTE: 用于视频中 3D 人体姿态估计的 Seq2seq 混合时空编码器

    本文提出了一种叫做 MixSTE 的混合的时空编码器，该编码器通过时间和空间变换块分别对每个关节的运动进行建模以及学习关节之间的空间相关性，可在 3D 人体姿态估计任务上取得更好的性能表现。

    Mar, 2022

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 使用渐进式视频变换器进行端到端多人 3D 姿势和形状估计

    本研究提出了一种新的端到端的多人三维姿势和形状估计框架，称为 PSVT，其中使用逐步视频变换器和姿势引导注意力来捕获全局时空上下文，进一步提高了性能。

    Mar, 2023

  • 利用时间信息进行三维姿态估计

    本文提出了一种基于 LSTM 网络，使用时间信息提高 2D 关节点坐标序列估算 3D 姿势的鲁棒性和一致性，实验在 Human3.6M 上提高了 12.2% 的精度。

    Nov, 2017

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • 几何偏置变换器用于鲁棒的多视角 3D 人体姿势重建

    通过提出一种新颖的编码器 - 解码器 Transformer 架构，结合多视角和时间信息、几何关系和 2D 姿态检测可信度，我们解决了估计多视图下遮挡和受限重叠视图的 3D 人体姿势的挑战。我们的实验表明该方法在传统三角定位方法的具有挑战性的遮挡场景和视图受限场景中表现出很好的效果。

    Dec, 2023

  • 用于三维人体运动预测的时空转换器

    本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

    Apr, 2020

  • 构建时空 Transformer 用于自我中心三维姿态估计

    本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

    Jun, 2022

  • 基于时空趋势推理的人体姿态和形状估计技术

    本文提出了一个 SRT 网络，通过时空趋势推理设计了一个时间趋势推理（TTR）模块和一个空间趋势增强（STE）模块，来提高人体姿态估计的准确性。通过实验在公共数据集上验证，该模型与同类算法性能相当。

    Oct, 2022