Aug, 2023

基于图像的三维手部姿态估计的去噪扩散

PDF
TL;DR本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。
hand pose estimation3d body pose estimationkinematic constraintsdiffusion modelstransformer module
发现论文，激发创造
  • HandDiff: 图像点云上基于扩散的 3D 手部姿态估计

    基于扩散模型，本文提出了 HandDiff，一种基于手型图像点云的迭代去噪准确手势姿态估计模型，旨在通过联合条件和局部细节条件，恢复关键点排列和准确位置，并在四个具有挑战性的手势姿态基准数据集上显著优于现有方法。

    Apr, 2024

  • DiffHand: 基于扩散模型的端到端手部网格重建

    利用一种基于扩散的手部三维网格重建框架 ——DiffHand，利用噪声模拟中间手网格的不确定性分布进行渐进式去噪过程，设计跨模态解码器来更好地模拟手顶点的连通性，从而达到优于先前方法 5.8mm PA-MPJPE 的最优表现。

    May, 2023

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • 基于单深度图像的稳健三维手部姿势估计：从单视角 CNN 到多视角 CNN

    该论文提出了一种新方法，利用多视角投影和学习的姿态先验，通过多视角热图来回归手部姿态，最终得出三维手势估计，实验表明该方法在难以应对的数据集上取得了优异表现。

    Jun, 2016

  • Hand3D：使用 3D 神经网络进行手部姿态估计

    使用新的 3D 神经网络架构，通过深度图到三维体积表示的转化，直接对手的三维姿态进行估计，无需进一步处理。同时通过合成深度图来增加训练数据覆盖率，在公开数据上达到了最优性能。

    Apr, 2017

  • 手势姿势估计的密集三维回归

    该研究提出了一种基于单个深度帧的三维手部姿态估计方法，通过像素级别的估计实现高效准确地实现骨架姿态估计，并在 MSRA 和 NYU 手部数据集上，其方法实现了最好的性能。

    Nov, 2017

  • 基于隐变量 2.5D 热力图回归的手部姿态估计

    本文提出一种使用 2.5D 姿势表示的新方法来从单目图像中估计 3D 手部姿态，通过使用深度图和热力图分布来训练卷积神经网络 (CNN) 模型，该模型在多个数据集上实现了最先进 2D 和 3D 手部姿态的估计。

    Apr, 2018

  • DiffPose：基于视频的人体姿势估计的时空扩散模型

    DiffPose 是一种新颖的扩展扩散模型，将基于视频的人体姿势估计作为条件热图生成问题，并通过多组姿势估计的结合以及迭代步骤的调整来提高预测准确性，成功地在 PoseTrack2017、PoseTrack2018 和 PoseTrack21 三个基准测试上取得了新的最佳结果。

    Jul, 2023

  • D3PRefiner：一种基于扩散的 3D 人体姿势优化方法

    使用单眼相机进行三维人体姿态估计存在深度模糊问题，本文提出了一种基于扩散的三维姿态优化器 (D3PRefiner)，通过神经网络学习噪声姿态和真实姿态之间的映射关系，从而大幅提高当前的三维姿态估计性能。

    Jan, 2024

  • 从单一 RGB 图像中估计 3D 手型和姿势

    本文提出了一种基于图形卷积神经网络的方法，从单个 RGB 图像中估算手的 3D 形状和姿态，并通过含 3D 地面真值的大规模合成数据集和深度图弱监督学习进行训练，结果表明可以对手的 3D 网格进行准确和合理的重建，并在与现有最先进方法的比较中达到了更高的 3D 姿态估计准确性。

    Mar, 2019