PoseExaminer: 人体姿态和形状估计的超出分布鲁棒性自动化测试

CVPRMar, 2023

PoseExaminer: 人体姿态和形状估计的超出分布鲁棒性自动化测试

PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation

Qihao Liu, Adam Kortylewski, Alan Yuille

TL;DR为解决估计人体姿态和形状方法在真实场景中可能面临的数据偏移问题，本文提出了一种基于解释性参数的模拟器和一种学习测试方法 PoseExaminer，该方法利用多智能体强化学习系统协作探索高维人体姿态图像参数空间，通过揭示现有模型的局限性，并利用 PoseExaminer 发现的失败模式来进行微调，提高现有方法的鲁棒性和性能。

Abstract

Human pose and shape (HPS) estimation methods achieve remarkable results. However, current HPS benchmarks are mostly designed to test models in scenarios that are similar to the training data. This can lead to critical situations in real-world applications when the observed data differs significantly from the training data and hence is out-of-distribution (O

human pose and shape estimation ood robustness multi-agent reinforcement learning poseexaminer fine-tuning

发现论文，激发创造

基于身体传感器的大场景下的 3D 人体姿态估计与自定位系统

本文介绍了一种使用可穿戴传感器来在与周围环境的 3D 扫描注册的人体中恢复完整的 3D 姿势的方法，该方法使用身体部位处的 IMU 和向外看的头戴式摄像机将基于相机的自定位与基于 IMU 的人体跟踪融合，并将 3D 场景约束集成到优化中，以获得无漂移的姿态精度，从而可以在更大的记录体积和更长的运动周期中捕获 3D 姿势，可用于虚拟现实 / 增强现实应用程序或通过第一人称视觉输入训练导航和与环境交互的代理。

Mar, 2021

SHARE: 人体对抗性重建

通过引入 SHARE 方法，利用对抗性数据增强提高现有 HPS 技术的稳健性，我们展示了该方法在多个单视图 HPS 技术上的性能，对于来自多个摄像机位置拍摄的图像降低了关节平均误差，且在许多挑战性案例中超过了现有模型的性能，凸显了其在多样的实际应用中的重要意义。

Dec, 2023

POCO：带置信度的 3D 姿态和形状估计

提出了一种新的框架 POCO，用于训练 HPS 回归器，在单个前向传递中估计 3D 人体姿势和置信度，通过引入双重调节策略（DCS）来回归不确定性，从而帮助网络更准确地估计姿势。实验证明，在下游任务中使用置信度估计可以提高准确性，同时通过利用不确定性提高 HPS 训练的精确度。

Aug, 2023

SMPLer-X: 扩展性人体姿势和形状估计

通过大数据和大模型，本研究扩展了表达性人体姿势和形状估计 (EHPS) 模型，命名为 SMPLer-X，采用 ViT-Huge 作为骨干，并使用来自不同数据源的 450 万个实例进行训练。SMPLer-X 在多个测试基准上展现出强大性能，并且对于未知环境具有极高的可迁移性。

Sep, 2023

VQ-HPS：在向量量化潜变空间中的人体姿态和形状估计

通过引入一种低维离散潜在表示的独特方法，我们将人体姿态和形状估计 (Human Pose and Shape Estimation，HPSE) 问题作为一个分类任务来解决，预测离散潜在表示，从而实现对人体网格的编码。我们的模型 VQ-HPS 在训练中通过最小化交叉熵损失实现，结果显示它在 HPSE 问题上胜过当前最先进的无参数方法，并且产生与参数方法一样逼真的结果，这突显了分类方法在 HPSE 中的重要潜力。

Dec, 2023

PointHPS: 基于点云的级联三维人体姿态和形状估计

基于 3D 点云数据的 PointHPS 框架通过迭代的特征提取和处理方案，在人体姿势和形状估计的研究领域中具有显著优势。

Aug, 2023

LiveHPS: 基于 LiDAR 的自由环境下场景级人体姿态和形状估计

通过 LiveHPS，我们提出了一种新的基于单个激光雷达的场景级人体姿态和形状估计方法，可以解决激光点云的分布变化、遮挡和噪声干扰等问题。通过多模态和多视图的采集数据，我们的方法在新数据集和公共数据集上进行的广泛实验证明了其在实际应用中的卓越性能和鲁棒性。

Feb, 2024

适应性噪声采样概率恢复的三维人体姿势估计

基于弱监督方法，提出了适用于轻量级单假设模型的概率恢复三维人体姿势评估框架（PRPose），通过逆向映射隐藏概率分布，采用自适应噪声采样策略生成合理的多假设样本，从而解决了 2D 姿势检测误差和 2D 到 3D 非正常问题的限制，实验证明了 PRPose 的有效性和高效性。

May, 2024

LPSNet：无镜成像的端到端人体姿态和形状估计

通过无镜成像，提出了第一个端到端的框架，从无镜成像数据中恢复三维人体姿势和形状。

Apr, 2024

基于深度学习的人体姿势估计：综述

本文介绍了基于深度学习的 2D 和 3D 人体姿态估计的综述，系统分析和比较了这些解决方案，对研究的挑战，应用和未来方向进行了讨论，包括 250 多篇研究论文以及姿态估计数据集和评估指标的定量表现比较和讨论。

Dec, 2020