Pose Transformers（POTR）：使用非自回归 Transformer 进行人体动作预测

ICCVSep, 2021

Pose Transformers（POTR）：使用非自回归 Transformer 进行人体动作预测

Pose Transformers (POTR): Human Motion Prediction with Non-Autoregressive Transformers

Angel Martínez-González, Michael Villamizar, Jean-Marc Odobez

TL;DR该研究提出使用 Transformer 建模实现非自回归人体运动预测，采用串行解码替代基于先前预测的循环神经网络，实现了在序列中并行解码。该方法在短期预测方面具有较高的竞争力。

Abstract

We propose to leverage transformer architectures for non-autoregressive human motion prediction. Our approach decodes elements in parallel from a query sequence, instead of conditioning on previous predictions such as instate-of-the-art RNN-based approaches. In such a way our approach

transformer architectures non-autoregressive human motion prediction sequence-to-sequence 3d poses skeleton-based activity classification

发现论文，激发创造

用于人体动作预测的多任务非自回归模型

本文提出了一种新的非自回归模型，该模型采用完全非自回归的解码方案、上下文编码器和位置编码模块来预测人体骨架的运动轨迹，并采用多任务训练范式来提高预测性能。该方法在 Human3.6M 和 CMU-Mocap 数据集上的表现优于现有的自回归方法。

Jul, 2020

PoseGPT：基于量化的三维人体动作生成和预测

提出了一种基于 PoseGPT 的自回归变换器的方法，该方法可以生成人体运动序列，利用离散的潜在空间使 GPT-like 模型集中于长程信号预测，获得了在几个数据集上实现最先进的结果。

Oct, 2022

用于三维人体运动预测的时空转换器

本文提出一种新颖的基于 Transformer 的架构，用于生成 3D 人体运动的模型。该模型能够学习高维度骨骼关节的嵌入，通过解耦的时间和空间自注意机制使得生成的姿态在时间上是连贯的。实验结果表明该模型能够准确地生成短期预测并在长期时间跨度内生成合理的运动序列。

Apr, 2020

基于 Transformer 的人体姿势直接估计（TFPose）

我们提出了一种人体姿态估计框架，该框架以回归为基础，采用转换器有效地解决了姿态估计任务，使用序列预测问题的方法可以避免热图姿态估计带来的缺陷，并且通过关注机制可以适应地关注与目标关键点最相关的特征，从而大大克服了以前回归方法中存在的特征不对齐问题，而且我们的框架能够固有地利用关键点之间的结构关系，在 MS-COCO 和 MPII 数据集上的实验证明了我们的方法可以显著提高基于回归的姿态估计的最新技术水平，并且表现与最好的基于热图的姿态估计方法相当。

Mar, 2021

Poseur：基于 Transformer 的直接人体姿势回归

提出了一种基于 Transformer 网络的 2D 人体姿势估计方法，直接将图像转换为坐标进行回归预测，并利用自适应注意力机制来提高关键点坐标预测精度，实现了在 MS-COCO 数据集上超越同类方法的目标。

Jan, 2022

能够看到的机器人：利用人体姿势进行轨迹预测

通过使用 Transformer 架构，从人体位置、头部朝向和三维关键点等输入特征来预测人类在人类中心环境中未来的轨迹，该模型捕捉了未来人类轨迹预测中的内在不确定性，并在常见预测基准和适用于预测任务的移动机器人跟踪数据集上取得了最先进的性能。在这种具有挑战性场景中，我们发现历史数据有限的新主体是错误的主要来源，并展示了三维骨骼姿势在减少预测误差方面的互补性。

Sep, 2023

多范围变压器的多人三维动作预测

我们提出了一种适用于多人 3D 运动轨迹预测的新型框架，使用包含局部范围编码器和全局范围编码器的 Multi-Range Transformers 模型，可以实现不同人之间的社交互动，且在长期运动预测方面优于现有方法，甚至可以自动将人分成不同的互动组以预测 15 人的运动轨迹。

Nov, 2021

姿态导向的不确定性引导下的 Transformer 对 2D 到 3D 人体姿态估计进行精细优化

本文提出了一种姿势导向的自注意机制和基于距离的位置嵌入的 Pose-Oriented Transformer (POT) 以明确利用人类骨骼拓扑，并通过考虑每个关节的预测不确定度进行不确定性引导的采样策略和自注注意机制来优化 POT 的姿态预测。实验结果表明，在 3D HPE 基准测试中，我们的方法在减少模型参数并且比其他最先进方法的性能显著提高。

Feb, 2023

级联变形器进行姿态识别

本文介绍了一种使用级联 Transformer 的基于回归的姿势识别方法，利用编码器 - 解码器结构实现了人体和关键点检测的回归，通过不同自注意力层中的关键点假设改进来展示了 Transformer 中的递归自注意力机制，并与竞争的回归方法进行比较得到了有竞争力的结果。

Apr, 2021

多透视空时关系变换的精确 3D 人体姿势估计

我们提出了一个多阶段的 3D 序列到序列人体姿势检测框架，利用变压器的自注意力机制从多视角视频数据中捕捉空间 - 时间相关性，实验结果表明我们的方法在 Human3.6M 数据集上表现出色。

Jan, 2024