Sep, 2023

Ego3DPose：从双目视角中捕获 3D 线索

PDF
TL;DREgo3DPose 是一种高精度的双眼自我中心三维姿态重建系统，通过使用双眼自我中心布置实现了更实用和有用的各种应用。通过引入常被忽视的立体对应和透视，解决了目前方法在姿态估计精度上的不足，并提出了两种新的方法来应对挑战：一是设计了双路径网络架构，独立地估计每个连接的姿态，减轻了对全身信息的依赖；二是利用了肢体的自我中心视图，提出了一种新颖的透视感知表示方法，使网络可以估计肢体的三维方向。综合评估表明，Ego3DPose 在 UnrealEgo 数据集中通过减少姿态估计误差（即 MPJPE）达到 23.1% 的降低，我们得到的定性结果突出显示了我们的方法在各种情景和挑战中的优越性。
ego3dposebinocular egocentricpose estimation3d cuesperspective-aware representation
发现论文，激发创造
  • 从主观立体视频中感知 3D 人体姿势

    通过使用新的基于 transformer 模型的框架，结合场景信息和长时空上下文，利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态，并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。

    Dec, 2023

  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020

  • 从人类视觉跨度估计自我中心姿态

    提出了一种基于深度学习的实时方法，利用相机 SLAM 和身体图像，同时计算出头部姿态、身体姿态和前景 / 背景分离，并引入一定的几何一致性限制，用于从佩戴设备的围绕视野中估计身体姿态。

    Apr, 2021

  • xR-EgoPose: HMD 相机下的身份 3D 人体姿态

    本文提出一种新的解决方案，能够从从头戴虚拟现实设备上一部安装了鱼眼镜头的单目图像中，以自我中心的视角估算 3D 人体姿态。该方法使用了一种新的编码器 - 解码器结构，以及一个由两个分支组成的解码器，并通过构建一个大规模的合成数据集进行了实验，取得了显著的性能提升，并在 Human3.6M 基准数据集上取得了与现有最佳方法相当的效果。

    Jul, 2019

  • 3D 视角下人体姿态估计的调研

    本综述论文旨在提供关于自中心姿势估计研究的全面概述，包括流行数据集、不同姿势估计模型的分类和讨论，通过对比分析突出不同方法的优缺点。此综述能为研究人员和实践者提供宝贵资源，洞察自中心姿势估计的关键概念、前沿解决方案，以及未来研究领域的待解问题。

    Mar, 2024

  • EgoPoseFormer：一种用于自视角 3D 人体姿态估计的简单基线

    使用 EgoPoseFormer 模型进行立体自我中心人体姿态估计，通过引入两阶段姿态估计范式和可变形立体操作，有效地解决了联合不可见性问题，从而实现了更精确的关节点定位和三维环境中的姿态估计。

    Mar, 2024

  • SimpleEgo: 从自主摄像头预测概率性身体姿势

    本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法，该方法解决了硬件设计问题并能够量化姿势的不确定性，同时在此具有挑战性的配置中，获得了最先进的结果。

    Jan, 2024

  • 通过自我头部姿态估计进行自我身体姿态估计

    该研究介绍了一种新方法，利用头部运动作为中间表示，将三维人体运动的预测分解为两个阶段，并使用条件扩散生成多个可能的全身动作，消除了需要训练配对数据集的需求，可以分别利用大规模的追踪数据集和运动捕捉数据集。

    Dec, 2022

  • 从主体视角视频中估算 3D 身体姿态：看到看不见的姿态

    通过利用环境的动态运动和静态构造特征，以及能够推断身体姿态序列的新型最小化能量模型，我们提出了一种高效的基于学习的方法来推断佩戴 egocentric 相机的人体姿态的 3D 关节位置，进一步改进了基于深度学习的图像直接姿态回归等可能的替代方案。

    Mar, 2016

  • 2023 以自我为中心的手部姿势估计挑战的第一名解决方案技术报告：一种简洁的以自我为中心的手部姿势重建流程

    本研究报告介绍了我们在 Egocentric 3D Hand Pose Estimation 挑战赛上的工作。采用 AssemblyHands，我们使用基于 ViT 的骨干网络和简单回归器进行 3D 关键点预测，提供了强大的模型基线。我们提出了一种非模型方法，在后处理阶段合并多视图结果，以解决手 - 物体遮挡和自遮挡引起的性能下降问题。此外，我们利用测试时间增强和模型集成进一步改进了方法。我们还发现公共数据集和合理的预处理是有益的。我们的方法在测试数据集上实现了 12.21mm 的 MPJPE，并在 Egocentric 3D Hand Pose Estimation 挑战赛中获得第一名。

    Oct, 2023