PointHPS: 基于点云的级联三维人体姿态和形状估计
本文介绍了一种使用可穿戴传感器来在与周围环境的 3D 扫描注册的人体中恢复完整的 3D 姿势的方法,该方法使用身体部位处的 IMU 和向外看的头戴式摄像机将基于相机的自定位与基于 IMU 的人体跟踪融合,并将 3D 场景约束集成到优化中,以获得无漂移的姿态精度,从而可以在更大的记录体积和更长的运动周期中捕获 3D 姿势,可用于虚拟现实 / 增强现实应用程序或通过第一人称视觉输入训练导航和与环境交互的代理。
Mar, 2021
通过 LiveHPS,我们提出了一种新的基于单个激光雷达的场景级人体姿态和形状估计方法,可以解决激光点云的分布变化、遮挡和噪声干扰等问题。通过多模态和多视图的采集数据,我们的方法在新数据集和公共数据集上进行的广泛实验证明了其在实际应用中的卓越性能和鲁棒性。
Feb, 2024
提出了一种新的框架 POCO,用于训练 HPS 回归器,在单个前向传递中估计 3D 人体姿势和置信度,通过引入双重调节策略(DCS)来回归不确定性,从而帮助网络更准确地估计姿势。实验证明,在下游任务中使用置信度估计可以提高准确性,同时通过利用不确定性提高 HPS 训练的精确度。
Aug, 2023
本研究提出了一种名为 HS-layer 的简单网络结构,可以从点云数据中提取混合范围潜在特征,用于类别级对象姿态估计任务。使用 HS-layer 取代 GPV-Pose 基线方法中的 3D-GC 层,可以显著提高性能,在 5d2cm 指标上提高 14.5%,在 IoU75 上提高 10.3%。与现有方法相比,在 REAL275 数据集上的表现优异,较之提高 8.3%(5d2cm)和 6.9%(IoU75),且运行速度快(50 FPS) 。
Mar, 2023
本篇论文介绍了一种在人体点云上进行三维关键点检测的挑战,并提出了一种名为 Dual Cascade Point Transformer (D-CPT) 的模型,该模型通过级联的 Transformer 解码器逐步优化关键点,在本地区域使用 RefineNet 增强关键点坐标,通过在 HPoint103 和公共数据集 DHP19 上进行对比评估,验证了我们的 D-CPT 模型在关键点检测方面的显著性能优势,并表明将我们的 RefineNet 集成到现有方法中可以持续提高性能。
Jan, 2024
SPEC 是第一个在野外图像中从单幅图像估计透视相机并更准确地重构 3D 人体的 3D 人体姿态和形状方法,SPEC 通过训练神经网络来估计视场角、相机俯仰角和滚转角,并将相机标定与图像特征连接起来,一起用于回归 3D 人体的形状和姿势,其结果在标准基准和两个新的数据集中表现比之前的艺术更加准确。
Oct, 2021
通过引入一种低维离散潜在表示的独特方法,我们将人体姿态和形状估计 (Human Pose and Shape Estimation,HPSE) 问题作为一个分类任务来解决,预测离散潜在表示,从而实现对人体网格的编码。我们的模型 VQ-HPS 在训练中通过最小化交叉熵损失实现,结果显示它在 HPSE 问题上胜过当前最先进的无参数方法,并且产生与参数方法一样逼真的结果,这突显了分类方法在 HPSE 中的重要潜力。
Dec, 2023
基于弱监督方法,提出了适用于轻量级单假设模型的概率恢复三维人体姿势评估框架(PRPose),通过逆向映射隐藏概率分布,采用自适应噪声采样策略生成合理的多假设样本,从而解决了 2D 姿势检测误差和 2D 到 3D 非正常问题的限制,实验证明了 PRPose 的有效性和高效性。
May, 2024
通过采用点云作为目标几何结构的中间表示,该研究论文调查了一种名为 HaP 的显式基于点云的人体重建框架,通过完全显式地进行点云的估计、处理、生成和优化来解决现有学习方法在灵活性、普适性、稳健性和表达能力方面的局限性。
Nov, 2023