Mar, 2024

AiOS: 一阶段综合人体姿势和形状估计

PDF
TL;DR提出了一种新的一体化框架 AiOS，用于多种表达性人体姿势和形状恢复，无需额外的人体检测步骤，通过 DETR 处理多人全身网格恢复任务，将其作为渐进集预测问题，通过解码器令牌和扩展实现对整个人体网格的回归，在 AGORA 上，NMVE 的减少率为 9%，EHF 上的 PVE 减少率为 30%，ARCTIC 上的 PVE 减少率为 10%，EgoBody 上的 PVE 减少率为 3%。
expressive human pose and shape estimation3d whole-body mesh recoveryaios frameworkdetrprogressive set prediction problem
发现论文，激发创造
  • 具有组件感知变换器的一阶段三维全身网格恢复

    这篇论文提出了一种名为 OSX 的一阶段人体网格恢复技术，通过使用全局体编码器和本地面部 / 手部解码器组成的组件感知变压器（CAT），预测身体参数并提供高质量的特征图为解码器进行特征级上采样 - 裁剪方案，从而提取高分辨率的部分特定特征，并采用关键点引导的可变形注意力精确估计手部和面部。该技术简单而有效，没有任何手动后处理，并自然地避免了不合理的预测。同时，该论文还构建了一个大规模的上半身数据集（UBody），包含在不同真实场景下出现的在部分可见身体上的人，以弥合基础任务与下游应用之间的差距。

    Mar, 2023

  • 走向强健而富表现力的全身人体姿势和形状估计

    我们提出了一个新的框架来增强全身姿势和形状估计的鲁棒性，其中包括三个模块以从三个角度解决上述挑战：1）定位模块，2）对比特征提取模块，3）像素对齐模块，并通过全面实验证明了该框架在身体、手、脸和全身基准测试上的有效性。

    Dec, 2023

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • AdaptivePose：将人体部位作为适应点

    本文提出了一种更加紧凑和高效的多人姿态估计框架，使用自适应点集来表示人体部位并使用单阶段网络精细地回归多人姿态，在 COCO 测试开发数据集上实现了最佳速度 - 准确度平衡。

    Dec, 2021

  • 从单幅图像中综合估计三维人体和场景网格

    本文提出了一种端到端可训练模型，以单个 RGB 图像感知 3D 场景，估计相机姿态和室内布局，并重建人体和物体网格。通过对所有估计方面施加全面而复杂的损失，我们证明了我们的模型优于现有的人体网格方法和室内场景重建方法。据我们所知，这是第一个在网格级别输出对象和人体预测，并对场景和人体姿态进行联合优化的模型。

    Dec, 2020

  • 人体去遮挡：人的隐形感知与恢复

    使用两阶段框架和基于 mask 的网络方法，本文针对人体消失的问题进行研究，提出了一种新颖的注意力模块和收集了 Amodal Human Perception dataset（AHP）来验证我们方法的有效性和优越性。

    Mar, 2021

  • ZoomNAS: 在野外搜索全身人体姿势估计

    该研究探讨了二维全身人体姿态估计的任务，并建议了一种基于 ZoomNet 的单一网络方法，以考虑全身的分级结构并解决不同身体部位的比例变化，同时提出了一种神经架构搜索框架 ZoomNAS，可以提高全身姿态估计的准确性和效率，并引入了第一个大规模 2D 人体全身数据集 COCO-WholeBody V1.0，对 ZoomNAS 进行训练和评估。

    Aug, 2022

  • 学习三维场景中的人体网格恢复

    提出了一种新方法，通过使用稀疏的 3D CNN 估计场景的绝对位置和密集的场景接触，并通过与其相关的 3D 场景线索的交互关注来加强预训练的人类 mesh 回收网络的关节学习，进而提高每个正向遍历的准确性和速度。

    Jun, 2023

  • 野外场景下的全身人体姿态估计

    本文介绍了 COCO-WholeBody 数据集和 ZoomNet 网络模型，通过使用这些技术，能够更准确地进行人体姿态估计。

    Jul, 2020

  • 重新思考多级网络用于人体姿态估计

    研究单阶段方法与多阶段方法在姿态估计领域的性能表现，提出了单阶段模块设计、跨阶段特征聚合和粗到细的监督等改进建议，所得方法在 MS COCO 和 MPII Human Pose 数据集上都取得了新的最优表现，证明了多阶段架构的有效性。

    Jan, 2019