从人类视觉跨度估计自我中心姿态
借助底部 VR 设备上安装的鱼眼相机捕捉的单目图像,使用编码器 - 解码器架构和新型多分支解码器,实现了针对自我中心 3D 人体姿势估计的解决方案,并提出了一种大规模的照片逼真的合成数据集 xR-EgoPose。这项工作在合成和实际数据集上与现有算法相比,准确率有大幅提高。
Nov, 2020
本综述论文旨在提供关于自中心姿势估计研究的全面概述,包括流行数据集、不同姿势估计模型的分类和讨论,通过对比分析突出不同方法的优缺点。此综述能为研究人员和实践者提供宝贵资源,洞察自中心姿势估计的关键概念、前沿解决方案,以及未来研究领域的待解问题。
Mar, 2024
该研究介绍了一种新方法,利用头部运动作为中间表示,将三维人体运动的预测分解为两个阶段,并使用条件扩散生成多个可能的全身动作,消除了需要训练配对数据集的需求,可以分别利用大规模的追踪数据集和运动捕捉数据集。
Dec, 2022
通过利用环境的动态运动和静态构造特征,以及能够推断身体姿态序列的新型最小化能量模型,我们提出了一种高效的基于学习的方法来推断佩戴 egocentric 相机的人体姿态的 3D 关节位置,进一步改进了基于深度学习的图像直接姿态回归等可能的替代方案。
Mar, 2016
通过使用新的基于 transformer 模型的框架,结合场景信息和长时空上下文,利用头戴设备提供的俯视图来更准确地估计包括蹲下和坐下等复杂动作的三维人体姿态,并提出了两个新的用于综合评估现有和即将推出方法的数据集 UnrealEgo2 和 UnrealEgo-RW。
Dec, 2023
本研究针对佩戴在头部的下视镜头设备上的自我中心人体姿势估计问题进行了探讨。通过使用传统矩形镜头捕捉图像并采用基于矩阵 Fisher 分布的概率性关节旋转回归方法,该方法解决了硬件设计问题并能够量化姿势的不确定性,同时在此具有挑战性的配置中,获得了最先进的结果。
Jan, 2024
本文提出一种新的解决方案,能够从从头戴虚拟现实设备上一部安装了鱼眼镜头的单目图像中,以自我中心的视角估算 3D 人体姿态。该方法使用了一种新的编码器 - 解码器结构,以及一个由两个分支组成的解码器,并通过构建一个大规模的合成数据集进行了实验,取得了显著的性能提升,并在 Human3.6M 基准数据集上取得了与现有最佳方法相当的效果。
Jul, 2019
Ego3DPose 是一种高精度的双眼自我中心三维姿态重建系统,通过使用双眼自我中心布置实现了更实用和有用的各种应用。通过引入常被忽视的立体对应和透视,解决了目前方法在姿态估计精度上的不足,并提出了两种新的方法来应对挑战:一是设计了双路径网络架构,独立地估计每个连接的姿态,减轻了对全身信息的依赖;二是利用了肢体的自我中心视图,提出了一种新颖的透视感知表示方法,使网络可以估计肢体的三维方向。综合评估表明,Ego3DPose 在 UnrealEgo 数据集中通过减少姿态估计误差(即 MPJPE)达到 23.1% 的降低,我们得到的定性结果突出显示了我们的方法在各种情景和挑战中的优越性。
Sep, 2023
本文介绍了一种使用单一佩戴式鱼眼相机的自我中心全局三维人体姿势估计的新方法,通过对一系列帧进行时空优化,最小化热图投影误差,并强制执行从动作捕捉数据集学习到的局部和全局人体运动先验知识,实现了准确稳定的全局姿势,实验结果表明,我们的方法在定量和定性方面均优于现有的最先进方法。
Apr, 2021
本文提出了一种基于学习的方法,通过与另一个人的互动来估计身穿相机人的三维身体姿态,演示了我们的想法在多个领域的相关应用和视频实现。
Apr, 2019