从 2D 关节点到 3D 人体网格的 3D 旋转和抬升分解
本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法,能够从单张无约束的图像中自动预测人体的姿态和形状,实现了对人体结构和运动的精确推断。
Jul, 2016
本研究提出了一种新的方法来进行视频中的 3D 人体姿势估计。在此方法中,作者从人类骨骼解剖学中获得灵感,将任务分解为骨方向预测和骨长度预测两个子任务,以从全局信息中进行高准确性的骨长度预测。作者进一步提出了全卷积传播体系结构和新型关节位移损失,用于预测不同骨头的方向,有效地提高了模型性能。最后,作者引入了隐式关注机制,将 2D 关键点可见性分数作为额外指导加入模型,显著减少了许多具有深度模糊的挑战性姿势。经过全面的评估,证实该模型在 Human3.6M 和 MPI-INF-3DHP 数据集上的效果优于之前的最佳结果。
Feb, 2020
本文提出了一种基于图表的变形网络,实现了从二维人体姿态到三维人体姿态的估计和到三维人体网格参数的回归。该方法在保证精度的同时,优化了计算效率,具有广泛的实际应用价值。
Jan, 2023
通过采用无监督学习技术,基于来自单个图像的 2D 骨架关节,我们提出了一种恢复 3D 人体姿势的方法,该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入,并生成相应的 3D 骨架估计,其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据,并通过自适应正则化机制使域适应效果更好。最终,在 Human3.6M 数据集上,我们的方法对无监督三维 lifting 的改进达到了 30%,并且优于许多明确使用 3D 数据的弱监督方法。
Apr, 2019
本文通过研究 200 多篇论文,全面回顾了过去五年中 3D 人体姿态估计和网格恢复领域的深度学习方法进展,包括单人和多人方法,以及基于显式模型和隐式表示的人体网格恢复方法,并提供了公开数据集上的比较结果,以及深入观察和激发未来研究方向。
Feb, 2024
本文提出了一种使用生成对抗网络进行无监督学习的方法,能够从单张图片的 2D 关节点位置预测出 3D 人体姿态,无需使用 3D 数据集,而且即使在训练时缺乏数据,该方法也能很好地预测 3D 姿态。
Mar, 2018
本文提出了一种从稠密对应的人体部位进行学习的方法,通过构建 2D 像素与 3D 顶点之间的桥梁,提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络(DaNet),并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略,发现该方法显著提高了重建性能。
Dec, 2019
提出使用神经网络框架 PoseNet3D 将二维关节作为输入,输出三维骨架和 SMPL 体模型参数,通过在学生 - 教师框架下的学习方法,无需使用任何 3D 数据进行训练,结果表明与之前的无监督方法相比,该方法将 3D 关节预测误差降低了 18%。
Mar, 2020
本文提出了一种基于多视图图像的轻量级解决方案,通过利用新近的可解释表示学习方法,将 3D 几何结构融合到输入图像中,利用摄像机投影运算符对学习表示进行条件化,以产生准确的视角 2D 检测,通过可微的直接线性变换层 (SVD) 将其简单地提升到 3D,并提出一种新方法实现直接线性变换层 (SVD) 以有效地实现三维姿态恢复,同时保证实时性能。
Apr, 2020
本文提出了一种用于从单个 RGB 图像中估计人类姿势的统一方法,通过联合推理 2D 关节估计和 3D 姿势重建来改善两个任务,并使用可信的 3D 地标位置知识来对更好的 2D 位置进行搜索,并通过多级卷积神经网络架构综合了 3D 人体姿势的概率知识,并在 Human3.6M 数据集上进行了端到端的训练,最终获得了在 2D 和 3D 误差上优于之前方法的最新结果。
Jan, 2017