Jan, 2024

在扩散框架中探索潜在的跨通道嵌入以实现准确的三维人体姿态重建

PDF
TL;DR通过探索三维坐标和二维投影之间的关联，引入一个新的跨通道嵌入框架，并利用上下文引导机制促进联合图注意力在迭代扩散过程中的传播，以提高单目三维人体姿态估计的重建精度。该方法在 Human3.6M 和 MPI-INF-3DHP 两个基准数据集上的实验证明了与最先进方法相比的显着改进。
monocular 3d human pose estimationdepth ambiguitiesdiffusion modelscorrelation between 2d and 3d joint-level featurescontext guidance mechanism
发现论文，激发创造
  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015

  • 无监督跨模态对齐用于多人三维姿态估计

    通过使用新颖的神经表示，我们提出了一种部署友好的、快速的自下而上的多人三维人体姿态估计框架；进一步，我们基于跨模态的对齐问题，提出了一种实用的部署范式，使得我们的模型不仅能够处理现实世界的图像，而且在速度与性能之间实现了更好的平衡。

    Aug, 2020

  • 三维人体姿态估计几何感知表示的弱监督发现

    本研究提出了一种几何感知的人体姿态三维表示方法，通过使用多个视角和简单的自编码器模型以 2D 关键点信息为监督，在训练阶段建立共享的 3D 表示，进而通过骨架编码器 - 解码器机制在潜在空间提取仅与姿态相关的表示。实验结果表明，该方法能够显著提高现有姿态估计方法的性能。

    Mar, 2019

  • 使用深度神经网络进行 3D 人体姿态结构预测

    本文提出了一种基于深度学习回归体系结构的 3D 人体姿势结构预测方法，该方法借助于过度完备的自动编码器并考虑关节从属关系，优于现有技术，包括结构保留和预测准确性两方面。

    May, 2016

  • MonoCap: 基于 CNN 和几何先验的单目人体动作捕捉

    本文提出了一种新颖的方法，利用深度卷积神经网络来对 2D 关节点位置进行建模，并通过期望最大化算法来恢复 3D 几何体，从而实现了对不带标记的单个摄像头的全身人体姿态估计。

    Jan, 2017

  • DiffPose: 3D 姿态估计更可靠的方法

    提出一种新颖的姿态估计框架 (DiffPose)，基于扩散模型将 3D 姿态估计描述为一个逆扩散过程，并引入了姿态特定初始化、基于高斯混合模型的前向扩散过程和上下文条件的逆扩散过程等新设计来促进扩散过程，相比现有方法在 Human3.6M 和 MPI-INF-3DHP 等广泛使用的姿态估计基准测试中显著提升。

    Nov, 2022

  • 利用时间上下文对野外三维人体姿态估计进行改进

    该研究通过基于束调整的算法从单眼视频中恢复准确的 3D 人体姿势和网格，通过在整个序列上重建人体来提供额外的约束并解决歧义问题。同时，该研究提出了一个包含超过 3 百万帧来自 Kinetics 的 YouTube 视频数据集，能够提高 3D 运动估计的准确性，该算法具有实际意义。

    May, 2019

  • 利用显式 2D 特征和中间 3D 表示进行野外人体姿势估计

    本文提出了一种基于卷积神经网络的深度学习方法，用于单目 3D 人体姿态估计，具有高精度和更好的野外场景泛化能力，可以联合在具有 3D 标签和仅有 2D 标签的图像数据上进行训练，并在具有挑战性的野外数据上实现了最先进的准确性。

    Apr, 2019

  • DiffHPE: 稳健、一致的扩散式 3D 人体姿势升级

    我们提出了一种创新方法，结合前沿的扩散模型来进行 3D 人体姿势估计（3D-HPE），并展示了扩散模型提高人体姿势估计的准确性、稳健性和一致性的能力。使用 Human 3.6M 数据集，我们证明了该方法的有效性，并展示了其在面对遮挡、改善时间相干性和冠状面对称性方面的优势。我们的研究结果表明，独立的扩散模型能提供出色的性能，而与监督模型结合使用，它们的准确性更高，为 3D-HPE 研究开辟了新的激动人心的领域。

    Sep, 2023

  • 基于图像的三维手部姿态估计的去噪扩散

    本文提出了一个新颖的端到端框架，用于从单眼图像或序列中估计三维手部姿势。通过使用用于生成目的的扩散模型并引入显式的正向运动学层，我们确保生成的姿势符合实际。通过在连续帧的时间窗口上添加 Transformer 模块，我们在提升精确度的同时克服了抖动问题。该方法在几个不同的数据集上通过定量和定性评估展示了领先的鲁棒性、泛化性和准确性。

    Aug, 2023