Feb, 2020

带骨骼姿态分解的考虑解剖学的三维人体姿态估计

PDF
TL;DR本研究提出了一种新的方法来进行视频中的 3D 人体姿势估计。在此方法中，作者从人类骨骼解剖学中获得灵感，将任务分解为骨方向预测和骨长度预测两个子任务，以从全局信息中进行高准确性的骨长度预测。作者进一步提出了全卷积传播体系结构和新型关节位移损失，用于预测不同骨头的方向，有效地提高了模型性能。最后，作者引入了隐式关注机制，将 2D 关键点可见性分数作为额外指导加入模型，显著减少了许多具有深度模糊的挑战性姿势。经过全面的评估，证实该模型在 Human3.6M 和 MPI-INF-3DHP 数据集上的效果优于之前的最佳结果。
发现论文，激发创造
  • 组合式人体姿势回归

    提出了一种结构感知回归方法，利用骨代替节点进行重新参数化，使用联合连接结构定义组合损失函数来编码姿态中的长程相互作用，在 2D 和 3D 姿态估计中具有普适性并且在人体姿态估计领域的两个数据集（Human3.6M 和 MPII）中显著超越最先进的方法和竞争最先进结果的性能。

    Apr, 2017

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 从密集身体部位学习 3D 人体形状和姿势

    本文提出了一种从稠密对应的人体部位进行学习的方法，通过构建 2D 像素与 3D 顶点之间的桥梁，提出了解决非线性、位移等问题的 Decompose-and-Aggregate 网络（DaNet），并给出了一种利用空间关系的位置辅助旋转特征细化策略来提高鲁棒性的姿态预测策略，发现该方法显著提高了重建性能。

    Dec, 2019

  • 基于深度预测网络的人体姿态绝对估计

    该论文提出了一种基于摄像机中心坐标系的神经网络，可以在单个步骤中预测关节位置，取得了当前最先进的结果，适用于 3D 人体姿势估计和 MuPoTS-3D 数据集。

    Apr, 2019

  • Skeleton-Graph: 使用深度时空图卷积神经网络从 2D 观测中进行长期 3D 运动预测

    本篇论文提出了 Skeleton-Graph 模型，采用深度时空图卷积神经网络来预测 2D 姿态下未来的 3D 骨架姿态，通过图形式地建立骨骼关节之间的空间关系以解决长期姿态预测过程中的分歧问题，并引入了新的评估指标来衡量长期预测分歧程度，实验证明 Skeleton-Graph 模型在 GTA-IM 和 PROX 数据集上均比之前的模型取得了更好的预测效果。

    Sep, 2021

  • 结构化预测有助于 3D 人体动作建模

    该论文提出了一个新的结构化预测层的方法，该层可通过一个连接类似于人体运动的动力链的一组小型神经网络的层次结构和损失函数的关节分解来明确地建模关节依赖性，并可以增强运动预测的性能和预测质量，而不受基础网络、关节角度表示和预测时间长度的限制，并在 AMASS 数据集上训练和测试后取得了良好的效果。

    Oct, 2019

  • 通过对抗训练的分解人体动作先验用于视频姿态估计

    通过将运动先验以对抗的方式整合进来，本文针对神经网络模型在人体姿态回归中要求对身体运动先验的作用进行了探索和研究，并证明了该算法在 3D 领域中具有较高的鲁棒性和准确性。

    May, 2023

  • 提升手语三维姿态估计

    通过将前向运动学与神经网络相结合，本研究提出了一种快速有效的方法，将图像中的二维关键点提升到三维骨架，预测关节旋转和骨长，并利用神经网络中的 FK 层与骨骼约束相结合，实现了对三维骨骼姿势的快速准确估计。在定量和定性评估中，我们证明了该方法在关节位置误差和视觉外观方面都比 MediaPipe 更准确，并且能够在不同数据集上进行泛化。基于 PyTorch 的实现仅使用 CPU，每张图像处理时间为 100-200 毫秒（包括 CNN 检测）。

    Aug, 2023

  • 使用深度神经网络进行 3D 人体姿态结构预测

    本文提出了一种基于深度学习回归体系结构的 3D 人体姿势结构预测方法，该方法借助于过度完备的自动编码器并考虑关节从属关系，优于现有技术，包括结构保留和预测准确性两方面。

    May, 2016

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015