Apr, 2020

用于三维人体运动预测的时空转换器

PDF
TL;DR本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。
transformer-based architecturegenerative modelling3d human motionskeletal jointstemporally coherent pose
发现论文，激发创造
  • 一种基于专家混合的三维人体动作预测方法

    本研究通过复制现有的最先进（SOTA）时空转换器模型，以尽可能符合计算限制，并批判性评估现有模型架构的优势和改进机会，以解决实时推理速度挑战，并在空间 - 时间 (ST) 关注层中引入专家混合 (MoE) 块来提高模型容量和降低推理成本。

    May, 2024

  • 基于时空修补的人体运动预测

    本文在三个主要方面提出了改进：（1）使用生成对抗网络（GAN）预测 3D 人体动作，（2）设计架构来学习身体姿势和全局动作的联合分布，（3）提出了基于频率分布的两种替代指标来反映长期人类运动的实际分布，结果表明本文方法显著改善了现有技术，同时能够处理受到遮挡、噪声和丢失帧等影响的情况。

    Dec, 2018

  • 多透视 空时关系变换的精确 3D 人体姿势估计

    我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

    Jan, 2024

  • 学习运动轨迹依赖关系进行人体动作预测

    本文提出了一种基于前馈深度网络的预测人体运动的方法，通过在运动轨迹空间而非传统的姿态空间中编码时间信息，同时使用通用的图卷积网络自动学习人体姿势的空间依赖关系，从而实现了超越以往人体运动预测方法的性能。

    Aug, 2019

  • 使用空间和时间转换器的三维人体姿势估计

    本研究提出一种基于 transformer 的算法，能够在视频中实现 3D 人体姿态估计，通过对空间和时间进行变换，对每一帧中人体关节关系进行建模，并在中心帧上输出准确的 3D 人体姿态，该算法在 Human3.6M 和 MPI-INF-3DHP 数据集上实现了最先进的成果。

    Mar, 2021

  • HumMUSS: 使用状态空间模型进行人体动作理解

    基于状态空间模型，我们提出了一种新颖的无注意力空间时间模型，用于人体运动理解，兼具离线和实时应用的功能，并在各种动作理解任务中达到了变压器模型的性能水平。

    Apr, 2024

  • 基于骨骼的动作识别的时空转换器网络

    本文提出了一种新的空时变换器网络（ST-TR），该网络利用 Transformer 自我注意机制对 3D 骨架中的关节之间的依赖关系进行建模。空间自我注意模块（SSA）用于理解不同身体部位之间的帧内相互作用，而时间自我注意模块（TSA）用于建模帧间的相关性。两个模块在两个流网络中被结合使用，对 NTU-RGB + D 60 和 NTU-RGB + D 120 上的相同输入数据优于同类基准模型。

    Dec, 2020

  • 生成层次时间变换器用于手势动作识别和运动预测

    提出一种新颖的框架，同时处理手势识别和 3D 未来手势预测，借助生成式 Transformer VAE 架构来联合捕捉两个方面，从而实现通过利用时间戳间观察到的短期手势和长期动作一致性，促进现实动作预测，确保手势姿势和动作的语义依赖和不同时间粒度的忠实表示。

    Nov, 2023

  • 学习人体运动模型进行长期预测

    使用自动编码器的 LSTM 模型从数据中学习预测时空运动模型、自动生成自然运动序列并开发新的评估协议，成功地在两个最大的运动捕捉数据集上表现出长时间水平高于现有的预测和合成方法。

    Apr, 2017

  • Pose Transformers（POTR）：使用非自回归 Transformer 进行人体动作预测

    该研究提出使用 Transformer 建模实现非自回归人体运动预测，采用串行解码替代基于先前预测的循环神经网络，实现了在序列中并行解码。该方法在短期预测方面具有较高的竞争力。

    Sep, 2021