Dec, 2019

从密集身体部位学习 3D 人体形状和姿势

PDF
TL;DR本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。
3d human shapepose reconstructionbody partscorrespondencesdanet
发现论文，激发创造
  • 使用深度神经网络进行 3D 人体姿态结构预测

    本文提出了一种基于深度学习回归体系结构的 3D 人体姿势结构预测方法，该方法借助于过度完备的自动编码器并考虑关节从属关系，优于现有技术，包括结构保留和预测准确性两方面。

    May, 2016

  • DenseBody：从单幅彩色图像直接回归密集式三维人体姿势和形状

    本文提出使用卷积神经网络和编码器 - 解码器神经网络从单张彩色图像中直接回归 3D 人体网格，利用高效的 3D 人体形状和姿势表示方法，在 Human3.6M、SURREAL 和 UP-3D 等多个 3D 人体数据集上实现了最新性能。

    Mar, 2019

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • DensePose 3D：将关节物体的规范表面贴图提升到第三个维度

    本文提出了一种名为 DensePose 3D 的方法，通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体（例如人和动物）的三维重建，同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分，再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影，与基于非刚性结构运动的最新基线方法相比，在合成和真实数据上对人和动物进行了显著改进。

    Aug, 2021

  • 带骨骼姿态分解的考虑解剖学的三维人体姿态估计

    本研究提出了一种新的方法来进行视频中的 3D 人体姿势估计。在此方法中，作者从人类骨骼解剖学中获得灵感，将任务分解为骨方向预测和骨长度预测两个子任务，以从全局信息中进行高准确性的骨长度预测。作者进一步提出了全卷积传播体系结构和新型关节位移损失，用于预测不同骨头的方向，有效地提高了模型性能。最后，作者引入了隐式关注机制，将 2D 关键点可见性分数作为额外指导加入模型，显著减少了许多具有深度模糊的挑战性姿势。经过全面的评估，证实该模型在 Human3.6M 和 MPI-INF-3DHP 数据集上的效果优于之前的最佳结果。

    Feb, 2020

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015

  • 单张低分辨率图像中的 3D 人体形状和姿态的自监督学习

    该论文提出了一种名为 RSC-Net 的算法，它通过 resolution-aware network、self-supervision 和 contrastive learning scheme 解决了低分辨率输入图像对姿态和人体形状估计的挑战，并在弱监督条件下实现了更好的结果。

    Jul, 2020

  • 深度卷积神经网络下的人体姿态估计的异构多任务学习

    本文提出了一个异构多任务学习框架，用于通过深度卷积神经网络从单 ocular 图像中实现人体姿势估计，同时学习姿势 - 关节回归器和滑动窗口身体部位检测器，并证明包含身体部位检测任务有助于正则化网络，并指导其收敛于良好解决方案，并在多个数据集上报告了竞争和最先进的结果。 还通过实验证明，我们的网络中间层中学习的神经元针对局部身体部位进行了优化。

    Jun, 2014

  • 基于关系网络的 3D 人体姿态估计

    本文提出了一种基于神经网络的新型三维人体姿态估计算法，采用关系网络的结构来捕捉不同身体部位之间的关系，并使用每对不同身体部位生成的特征的平均值进行 3D 姿态估计，提出的网络在 Human 3.6M 数据集中实现了最先进的性能，并能在缺失关节的情况下有效地产生可信的结果。

    May, 2018

  • PoseNet3D: 通过知识蒸馏学习具有时间一致性的三维人体姿势

    提出使用神经网络框架 PoseNet3D 将二维关节作为输入，输出三维骨架和 SMPL 体模型参数，通过在学生 - 教师框架下的学习方法，无需使用任何 3D 数据进行训练，结果表明与之前的无监督方法相比，该方法将 3D 关节预测误差降低了 18％。

    Mar, 2020