CVPRJun, 2022

BlazePose GHUM Holistic: 实时 3D 人类关键点和姿势估计

PDF
TL;DRBlazePose GHUM Holistic 是一种轻量级神经网络模型，专门用于实时在设备上进行 3D 人体地标和姿势估计，包括阿凡达控制、健身追踪和 AR / VR 效果等，并具有 3D 真实数据获取的新方法、额外手部地标的更新的 3D 身体追踪和从单眼图像中完整身体姿态估计的主要贡献。
发现论文，激发创造
  • Blendshapes GHUM: 实时单目面部形状混合预测

    Blendshapes GHUM 是一个面向设备的机器学习流程，在现代移动手机上从单个单眼 RGB 图像中以 30+FPS 预测 52 个面部混合形状系数，并支持虚拟化头像等面部动作捕捉应用。我们的主要贡献是：i）一种无需注释的离线方法，可从现实世界的人体扫描获取混合形状系数，ii）基于面部标记预测混合形状系数的轻量级实时模型。

    Sep, 2023

  • BlazePose：设备端实时人体姿态追踪

    BlazePose 是一种轻量级的卷积神经网络架构，用于实时推理移动设备上的人体姿势估计，主要贡献是提出了一种新颖的身体姿势追踪解决方案和一个使用热图和回归来估计关键点坐标的身体姿势估计神经网络。

    Jun, 2020

  • imGHUM: 三维人体形状和关节姿态的隐式生成模型

    imGHUM 是一个基于有效隐式模型，能够生成细节丰富人体模型的生成模型，实现了全人体的大规模形态与姿态的查询。

    Aug, 2021

  • GloPro: 全球一致的不确定性感知的野外三维人体姿势估计与跟踪

    本研究提出 GloPro 框架，通过有效地融合视觉线索与学习到的动作模型，首次预测包括形状、姿态和根姿态在内的三维人体网格的不确定性分布，大大超越了现有方法在人类轨迹准确度方面的表现，并能够实时运行。

    Sep, 2023

  • 视觉三维人体姿态与形状的神经下降

    本文提出一种基于深度神经网络的人体三维姿态和形状重建方法，使用全身统计 3D 人体模型和学习技巧来优化模型并将其应用于自监督模式下的姿态和形状状态重建，并基于新颖的循环方式更新姿态和形状参数，从而实现了优化损失和度量反差的统一，测试结果表明其在 H3.6M 和 3DPW 等数据集上均获得了极具竞争力的结果。

    Aug, 2020

  • 可动态调节的三维高斯：快速高质量地重建多个人体化身

    用动态的 3D 高斯人物场景在复杂运动和动态阴影中实现高质量的重建，具有较短的训练时间、绘制速度和重建质量。

    Nov, 2023

  • 基于物理学的轨迹优化算法，从单目视频重建 3D 人体姿态

    本研究利用物理引擎对姿态估计过程进行改进，从而使得我们可以利用现实世界的场景推导出物体的运动。我们的公式具有广泛的应用场景，并可处理自身接触和与场景几何之间的接触。我们的方法在 Human3.6M 和 AIST 基准测试中均获得了与现有基于物理的方法相竞争的结果，同时不需要重新训练。

    May, 2022

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • HuMoR: 坚韧姿态估计的 3D 人体运动模型

    引入了 HuMoR：一种用于鲁棒估计时间姿态和形状的 3D 人体运动模型。该模型是一个表达能力强的条件变分自编码器生成模型，学习了运动序列每一步姿态变化的分布。通过灵活的优化方法，可以利用 HuMoR 运动先验知识从模糊的观察中鲁棒地估计出合理的姿态和形状。经过广泛的评估，证明我们的模型在大量运动捕捉数据集上训练后，可以推广到多样化的动作和身体形状，并且可以从多种输入模态（包括 3D 关键点和 RGB (-D) 视频）重建运动。

    May, 2021

  • FLAME: 面部标志热图激活的多模态凝视估计

    本研究提出了一种新的技术 ——Facial Landmark Heatmap Activated Multimodal Gaze Estimation (FLAME)，通过使用眼部解剖信息结合眼睛地标热图来获得精确的注视估计，从而克服了人体解剖差异的问题，而不需要任何人特定的标定。研究评估表明，本方法在 ColumbiaGaze 和 EYEDIAP 的基准数据集上具有竞争性能，并进行消融研究以验证方法的有效性。

    Oct, 2021