CVPRFeb, 2024

自注意传播网络用于自我中心热图到 3D 姿势提升

PDF
TL;DR提出了 EgoTAP 方法，用于高精度的立体自我中心 3D 姿势估计，通过使用自我注意力将联合热力图总结为有效的特征嵌入，然后利用骨骼信息来更好地估计模糊关节的位置，明显优于先前的最先进方法，定量和定性地证明了 MPJPE 度量误差减少 23.9％。
egotapstereo egocentric 3d pose estimationheatmap-to-3d pose liftinggrid vit encoderpropagation network
发现论文，激发创造
  • 构建时空 Transformer 用于自我中心三维姿态估计

    本文介绍了一种利用过去帧信息运用自注意的 3D 人体姿态估计方法 ——Ego-STAN，通过引入 spatio-temporal Transformer 模型和 feature map tokens 实现对大规模训练的加速与计算效率的提高，并在实验中表现出卓越的性能。

    Jun, 2022

  • Ego3DPose：从双目视角中捕获 3D 线索

    Ego3DPose 是一种高精度的双眼自我中心三维姿态重建系统，通过使用双眼自我中心布置实现了更实用和有用的各种应用。通过引入常被忽视的立体对应和透视，解决了目前方法在姿态估计精度上的不足，并提出了两种新的方法来应对挑战：一是设计了双路径网络架构，独立地估计每个连接的姿态，减轻了对全身信息的依赖；二是利用了肢体的自我中心视图，提出了一种新颖的透视感知表示方法，使网络可以估计肢体的三维方向。综合评估表明，Ego3DPose 在 UnrealEgo 数据集中通过减少姿态估计误差（即 MPJPE）达到 23.1% 的降低，我们得到的定性结果突出显示了我们的方法在各种情景和挑战中的优越性。

    Sep, 2023

  • HEMlets 姿态：学习基于部件中心的热图三元组，以实现准确的三维人体姿态估计

    本研究提出了一种使用 Part-Centric Heatmap Triplets 作为中间状态的方法，通过 Convolutional Network 将其从输入的图像预测出来，并在 volumetric joint-heatmap regression 之后从体积热图中提取出关节位置，从而缩小了 2D 与 3D 之间的差距，实现 3D 人体姿态估计，并在对比实验中比当前最先进的方法有明显的性能提升（Human3.6M 上提升了 20%）。

    Oct, 2019

  • 多人三维姿态估计的压缩体积热力图

    本文提出了一种基于多层热力图压缩的深度学习模型，可在 8 fps 的运行时处理全高清 RGB 图像，用于多人和单人 3D 人体姿态估计。

    Apr, 2020

  • 基于体素热力图的合成遮挡增强技术应用于 2018 ECCV PoseTrack 3D 人体姿态估计挑战赛

    本论文介绍了作者在 2018 ECCV PoseTrack Challenge 中 3D 人体姿势估计比赛中获胜的方法，使用全卷积 Backbone 架构，增强训练数据使用来自 Pascal VOC 数据集的随机遮挡物，使用 L1 误差最小化在 3D 相机空间中反投影坐标得到绝对人中心深度的预测结果。

    Sep, 2018

  • 多跳图变换网络用于 3D 人体姿势估计

    介绍了一个用于视频中 2D 到 3D 人体姿势估计的多跳图变换网络，通过利用多头自注意力和多跳图卷积网络的优势以捕获时空依赖关系和处理远距离交互，提出了一个模型架构来实现准确的全局和局部依赖关系捕捉以及处理所需的空间细节，实验结果表明其有效性和泛化能力。

    May, 2024

  • SimpleEgo: 从自主摄像头预测概率性身体姿势

    本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法，该方法解决了硬件设计问题并能够量化姿势的不确定性，同时在此具有挑战性的配置中，获得了最先进的结果。

    Jan, 2024

  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • 用于三维人体姿势估计的度量尺度截断鲁棒热图

    本研究中，我们提出了一种度量尺度的截断鲁棒体素热力图，该热力图的维度定义在靠近主体的度量 3D 空间中，使我们能够在没有测试时间知识的情况下估计完整的度量尺度姿势，同时优于现有人体姿势估计标准，具有实时性。

    Mar, 2020

  • EPOCH: 估计相机和人类的三维姿态

    单目人体姿态估计（HPE）是从相机捕捉的单个 2D 图像中确定人体关节的 3D 位置。本研究提出了一种 EPOCH 框架，利用完整的透视相机模型进行姿态估计，并通过无监督学习得到比现有方法更好的泛化性能和最先进的结果。

    Jun, 2024