ICCVApr, 2021

估计全局空间内的自我中心三维人体姿态

PDF
TL;DR本文介绍了一种使用单一佩戴式鱼眼相机的自我中心全局三维人体姿势估计的新方法，通过对一系列帧进行时空优化，最小化热图投影误差，并强制执行从动作捕捉数据集学习到的局部和全局人体运动先验知识，实现了准确稳定的全局姿势，实验结果表明，我们的方法在定量和定性方面均优于现有的最先进方法。
egocentric3d human pose estimationfisheye cameraspatio-temporal optimizationmocap dataset
发现论文，激发创造
  • 自我姿态：来自头戴式摄像头的 3D 自我姿态估计

    借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像，使用编码器 - 解码器架构和新型多分支解码器，实现了针对自我中心 3D 人体姿势估计的解决方案，并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比，准确率有大幅提高。

    Nov, 2020

  • 基于 FisheyeViT 和基于扩散的动作精炼技术的自我中心全身运动捕获

    本研究中，我们探索了使用单个鱼眼相机进行自我中心的全身动作捕捉，同时估计人体和手部动作。我们提出了一种新的方法，利用 FisheyeViT 提取鱼眼图像特征，将其转换为像素对齐的 3D 热图表示以预测 3D 人体姿势。我们还整合了专用的手部检测和手部姿势估计网络以回归 3D 手部姿势。最后，我们开发了基于扩散的全身动作先验模型，以在考虑关节不确定性的同时对估计的全身动作进行优化。通过收集一个大型合成数据集 EgoWholeBody，其中包括 840,000 个高质量自我中心图像，涵盖了各种全身动作序列，我们训练了这些网络。定量和定性评估证明了我们的方法从单个自我中心相机生成高质量的全身动作估计的有效性。

    Nov, 2023

  • Mo2Cap2：配备鱼眼镜头的帽式相机实时移动三维运动捕捉

    提出了一种新的实时方法，基于单个鱼眼摄像头和轻量级设备设置，通过 CNN 在个人视角测量人体姿态，使得在广泛的日常活动中成为可能。

    Mar, 2018

  • EgoCap: 两个鱼眼相机实现无标记主观动作捕捉（扩展摘要）

    提出一种新的方法，可以在室内和室外等各种场景下，实时地通过佩戴在头盔或虚拟现实头戴式显示器上的轻量级鱼眼立体相机，使用生成式姿势估计和基于 ConvNet 的身体部位检测器，无需标记，从而捕捉全身运动。

    Dec, 2016

  • 从人类视觉跨度估计自我中心姿态

    提出了一种基于深度学习的实时方法，利用相机 SLAM 和身体图像，同时计算出头部姿态、身体姿态和前景 / 背景分离，并引入一定的几何一致性限制，用于从佩戴设备的围绕视野中估计身体姿态。

    Apr, 2021

  • 基于位置引导的鱼眼图像头部姿态估计

    使用鱼眼镜头进行头部姿态估计，提出了一种新的方法，通过图像中头部位置的知识来降低鱼眼畸变的负面影响，使用卷积神经网络从鱼眼图像直接估计头部姿态，无需校正或标定操作，实验证明与其他最先进的单阶段和双阶段方法相比，我们的网络显著提高了头部姿态估计的准确性。

    Feb, 2024

  • SimpleEgo: 从自主摄像头预测概率性身体姿势

    本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法，该方法解决了硬件设计问题并能够量化姿势的不确定性，同时在此具有挑战性的配置中，获得了最先进的结果。

    Jan, 2024

  • EgoCap：使用两个鱼眼相机的自我中心无标记运动捕捉

    采用鱼眼相机进行骨骼姿态估计的实时无标记头盔运动捕捉的新方法，使用户能够在室内外和拥挤的场景中进行自由移动和交互，并创建运动捕捉的虚拟身体。

    Sep, 2016

  • xR-EgoPose: HMD 相机下的身份 3D 人体姿态

    本文提出一种新的解决方案，能够从从头戴虚拟现实设备上一部安装了鱼眼镜头的单目图像中，以自我中心的视角估算 3D 人体姿态。该方法使用了一种新的编码器 - 解码器结构，以及一个由两个分支组成的解码器，并通过构建一个大规模的合成数据集进行了实验，取得了显著的性能提升，并在 Human3.6M 基准数据集上取得了与现有最佳方法相当的效果。

    Jul, 2019

  • 3D 视角下人体姿态估计的调研

    本综述论文旨在提供关于自中心姿势估计研究的全面概述，包括流行数据集、不同姿势估计模型的分类和讨论，通过对比分析突出不同方法的优缺点。此综述能为研究人员和实践者提供宝贵资源，洞察自中心姿势估计的关键概念、前沿解决方案，以及未来研究领域的待解问题。

    Mar, 2024