CVPRMar, 2023

具有组件感知变换器的一阶段三维全身网格恢复

PDF
TL;DR这篇论文提出了一种名为 OSX 的一阶段人体网格恢复技术，通过使用全局体编码器和本地面部 / 手部解码器组成的组件感知变压器（CAT），预测身体参数并提供高质量的特征图为解码器进行特征级上采样 - 裁剪方案，从而提取高分辨率的部分特定特征，并采用关键点引导的可变形注意力精确估计手部和面部。该技术简单而有效，没有任何手动后处理，并自然地避免了不合理的预测。同时，该论文还构建了一个大规模的上半身数据集（UBody），包含在不同真实场景下出现的在部分可见身体上的人，以弥合基础任务与下游应用之间的差距。
whole-body mesh recoveryexpressive pipelinecomponent aware transformerhigh-resolution part-specific featuresupper-body dataset
发现论文，激发创造
  • AiOS: 一阶段综合人体姿势和形状估计

    提出了一种新的一体化框架 AiOS，用于多种表达性人体姿势和形状恢复，无需额外的人体检测步骤，通过 DETR 处理多人全身网格恢复任务，将其作为渐进集预测问题，通过解码器令牌和扩展实现对整个人体网格的回归，在 AGORA 上，NMVE 的减少率为 9%，EHF 上的 PVE 减少率为 30%，ARCTIC 上的 PVE 减少率为 10%，EgoBody 上的 PVE 减少率为 3%。

    Mar, 2024

  • 多人网格恢复与 Transformers

    通过一种面向整体图像的方法，我们提出了一种新的模型设计，其中包括多尺度特征融合、关注机制和相对关节监督，该模型在涉及多个人的各种基准测试中显示出显著的性能提升，超过了最先进的基于区域和基于整体图像的方法。

    Feb, 2024

  • 用于从 2D 人体姿态估计中获得人体姿态和形状的模块化多阶段轻量级图转换网络

    本文提出了一种基于图表的变形网络，实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时，优化了计算效率，具有广泛的实际应用价值。

    Jan, 2023

  • 协同回归使用调节表达身体

    通过整合不同算法的结果，使用 SMPL-X 公共空间，以及考虑人类形体和性别的关联关系，PIXIE 可以从单一图像中生成具有逼真面部细节的全身三维动画角色。与现有技术相比，PIXIE 获得更准确的全身形状和细节面部形状。

    May, 2021

  • 利用 Transformers 進行三維手部重建

    从单眼输入中重建 3D 手部，利用基于 Transformer 的 HaMeR 方法，通过大规模数据训练和深度网络容量的扩展，对手部进行精确且鲁棒性增强的分析，并在流行的 3D 手部姿势基准测试中始终优于先前基准线。

    Dec, 2023

  • 多人全身人体网格恢复单次拍摄

    提出了 Multi-HMR，这是一个强大的单次拍摄模型，可以从单个 RGB 图像中恢复多人的 3D 人体网格。

    Feb, 2024

  • 基于 Transformer 的分离模态交叉注意力 3D 人体网格恢复

    本文研究了 Transformer Encoder 在 3D 人类网格重建上的应用。提出了一种名为 FastMETRO 的新型 Transformer Encoder-Decoder 结构，对输入标记的复杂性进行了解耦，并通过注意掩码和网格上采样操作引入人体形态学关系的先验知识来提高其收敛速度和准确性。在 Human3.6M 和 3DPW 数据集上，和基于图像的方法相比明显更有效。

    Jul, 2022

  • 走向强健而富表现力的全身人体姿势和形状估计

    我们提出了一个新的框架来增强全身姿势和形状估计的鲁棒性，其中包括三个模块以从三个角度解决上述挑战：1）定位模块，2）对比特征提取模块，3）像素对齐模块，并通过全面实验证明了该框架在身体、手、脸和全身基准测试上的有效性。

    Dec, 2023

  • 使用 Transformer 进行端到端的人体姿势和网格重建

    本研究提出了一种名为 MEsh TRansfOrmer（METRO）的新方法，该方法使用变压器编码器来同时建模顶点 - 顶点和顶点 - 关节交互，并从单个图像中输出 3D 关节坐标和网格顶点，其非依赖于任何参数化网格模型，可以轻松地扩展到其他对象，如手的 3D 重建。该方法在处理局部遮挡等具有挑战性情况方面更加鲁棒和有效，在公共数据集 Human3.6M 和 3DPW 上为人类网格重建生成了最新的最先进结果。此外，我们展示了 METRO 到野外 3D 手重建的泛化能力，在 FreiHAND 数据集上性能优于现有最先进方法。

    Dec, 2020

  • 野外单目全身捕捉：头、身体和手势的姿态捕捉

    本文提出了一种从单目视角输入捕获目标人物 3D 运动的方法，利用 3D 可变形网格模型重建运动，使用 3D 部分方向场对所有身体部位的 3D 方向进行编码，在训练集和性能评估方面表现良好，并在各种挑战性的野外视频上演示了总体运动捕捉的结果。

    Dec, 2018