Mar, 2020

PoseNet3D: 通过知识蒸馏学习具有时间一致性的三维人体姿势

PDF
TL;DR提出使用神经网络框架 PoseNet3D 将二维关节作为输入，输出三维骨架和 SMPL 体模型参数，通过在学生 - 教师框架下的学习方法，无需使用任何 3D 数据进行训练，结果表明与之前的无监督方法相比，该方法将 3D 关节预测误差降低了 18％。
发现论文，激发创造
  • 利用时间信息进行三维姿态估计

    本文提出了一种基于 LSTM 网络，使用时间信息提高 2D 关节点坐标序列估算 3D 姿势的鲁棒性和一致性，实验在 Human3.6M 上提高了 12.2% 的精度。

    Nov, 2017

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • 无监督对抗学习从 2D 关节点位置得到 3D 人体姿势

    本文提出了一种使用生成对抗网络进行无监督学习的方法，能够从单张图片的 2D 关节点位置预测出 3D 人体姿态，无需使用 3D 数据集，而且即使在训练时缺乏数据，该方法也能很好地预测 3D 姿态。

    Mar, 2018

  • 稀疏性与深度结合：单目视频中的 3D 人体姿态估计

    本文通过提出一种新的方法，在人体姿势估计中实现了更好的 3D 姿势估计精度，通过使用单目图像序列并利用深度全卷积网络预测 2D 关节位置的不确定性图，并使用期望最大化算法进行 3D 姿势估计。

    Nov, 2015

  • 基于几何自监督的无监督三维姿态估计

    通过采用无监督学习技术，基于来自单个图像的 2D 骨架关节，我们提出了一种恢复 3D 人体姿势的方法，该方法不需要任何多视图图像数据、3D 骨架、2D-3D 点之间的对应关系或在训练过程中使用先前学习的 3D 先验知识。我们的方法采用一个 lifting 网络将 2D 关键点作为输入，并生成相应的 3D 骨架估计，其中我们通过在随机相机视点重投影修复后的 3D 骨架来产生新的 “合成” 2D 姿态。我们还训练了一个 2D 域适配器网络来扩展 2D 数据，并通过自适应正则化机制使域适应效果更好。最终，在 Human3.6M 数据集上，我们的方法对无监督三维 lifting 的改进达到了 30％，并且优于许多明确使用 3D 数据的弱监督方法。

    Apr, 2019

  • SMPL 约简：从单张图片自动估计三维人体姿态和形状

    本研究提出了一种基于 DeepCut 和 SMPL 模型的 3D 姿态估计方法，能够从单张无约束的图像中自动预测人体的姿态和形状，实现了对人体结构和运动的精确推断。

    Jul, 2016

  • 使用具有显式遮挡训练的时空网络进行 3D 人体姿势估计

    借助多尺度空间特征和多步幅时间卷积网络，在设计 A 的基础上，B 通过在训练过程中模拟各种遮挡情况来提高露出度鲁棒性，并利用 2D 视频数据注入半监督学习能力。实验证实了该方法的有效性，并且消融研究表明我们网络的单个子模块的优势。

    Apr, 2020

  • 使用时域卷积和半监督训练进行视频中三维人体姿态估计

    本文提出了一种基于卷积神经网络的 3D 姿势估计方法，并结合反向投影技术实现了半监督训练，结果表明该模型在无监督和半监督情况下准确性都得到了明显提高。

    Nov, 2018

  • 跨数据集估计人体姿态：一种统一的骨架和多教师蒸馏方法

    通过多教师知识蒸馏与统一的骨骼表示相结合，我们提出了一种新颖的方法来解决姿态估计中不一致的骨骼注释所带来的挑战，同时提升了模型在不同数据集上的适应性，实现了更准确的康复 7 个主要关键点和 21 个扩展关键点的预测。

    May, 2024

  • 视频中三维手姿和网格估计的时空感知自监督学习

    本研究提出了一种新的训练 3D 手势估计模型的框架，使用自监督学习模型（TASSN）从仅具有 2D 信息的视频中学习，通过强制时间一致性约束，TASSN 可以学习从视频中推断 3D 手势和网格的技能，并且实验证明了该模型的 3D 估计精度与目前最先进的基于 3D 注释的模型在同等级别上，强调了时间一致性在限制 3D 预测模型方面的优点。

    Dec, 2020