基于层级运动学概率分布的野外图像 3D 人体形状和姿态估计

ICCVOct, 2021

基于层级运动学概率分布的野外图像 3D 人体形状和姿态估计

Hierarchical Kinematic Probability Distributions for 3D Human Shape and Pose Estimation from Images in the Wild

Akash Sengupta, Ignas Budvytis, Roberto Cipolla

TL;DR通过训练深度神经网络，使用人体运动树结构来估计相对 3D 关节旋转矩阵的分层矩阵费舍尔分布（即身体姿态）和 SMPL 身体形状参数的高斯分布，实现了对 3D 人体形状和姿态的分布性预测，能够有效地量化预测不确定性并从中采样出多种可能的 3D 重建形式，从而解释给定的输入图像。

Abstract

This paper addresses the problem of 3d human body shape and pose estimation from an RGB image. This is often an ill-posed problem, since multiple plausible 3D bodies may match the visual evidence present in the i

3d human body shape pose estimation neural network kinematic tree structure reprojection loss

发现论文，激发创造

从野外多个不受限制图像中的概率三维人体形状和姿势估计

本研究提出了一种新的任务，在人体形态和姿势估计中使用多幅图像组成的分布预测模型，使我们能够量化姿势预测的不确定性，并提高了 3D 人体形态估计度量标准。

Mar, 2021

使用混合密度网络生成多个假设的三维人体姿态估计

本文提出了一种基于多模式混合密度网络的方法，可以从 2D 关节生成多个可行的 3D 人体姿势假设。实验表明，我们的方法具有先进的性能，并且可以用于针对 2D-3D 反问题的多解决方案。

Apr, 2019

弱监督生成式网络用于多个 3D 人体姿势假设

本文提出了一种使用弱监督深度生成网络解决逆问题的方法，该网络设计了一个提议分布来逼近未知的多模态目标后验分布，并通过 KL 散度最小化实现近似，并使用平均漂移算法确定最可行的解决方案。实验结果显示，该方法能够生成多个可行的假设，获得了与现有弱监督方法相比的最新结果。

Aug, 2020

多视角图像中的多人姿态估计与形状感知

本文提出了一种基于多视图图像的多人姿态估计方法，在统计参数体模型的引导下，这种方法能够更好地纠正不合理的 3D 姿态估计和填充缺失的关节点检测，将 2D 和 3D 观测联系起来，从而更准确地估计 3D 姿态并且具有较好的泛化性能，实验表明该方法的效果优于现有的方法。

Oct, 2021

SMPL 约简：从单张图片自动估计三维人体姿态和形状

本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

Jul, 2016

从结构和动作学习 3D 人体姿势

使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

Nov, 2017

稀疏性与深度结合：单目视频中的 3D 人体姿态估计

本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

Nov, 2015

隐式概率密度函数：在旋转流形上的非参数表示

本研究提出了一种基于非参数分布的单幅图像姿态估计方法，该方法使用神经网络隐式地表示任意姿态的概率分布，并考虑了不确定性和多重对称问题。该方法在处理三维姿态复杂分布时表现优异。

Jun, 2021

通过分层网格变形从单张图像中详细估计人体形状

该论文提出了一种新的框架，利用深度神经网络和 Hierarchical Mesh Deformation 技术综合使用人体关节、轮廓和像素的着色信息，从而在单张图片中精确恢复人体形状。实验证明，我们的方法在 2D IoU 计算和 3D 距离计算的准确度上都优于现有的其他方法。

Apr, 2019

个性化 3D 人体姿势和形状优化

我们提出使用密集对应将人体模型的初步估计与相应的图像生成关联，以便优化初步估计的过程。我们将 3D 模型的渲染结果用于预测合成图像与 RGB 图像之间的像素级 2D 位移，从而有效地整合和利用人体外观信息。通过最小化投影损失，我们可以将像素级位移转化为可见顶点级位移，并用于三维模型的优化。在 3DPW 和 RICH 上，我们通过不同的优化过程对多个模型的初步估计进行了优化，结果表明我们的方法不仅能够使图像与模型更好地对齐，还能提高三维的准确性。

Mar, 2024