Aug, 2019

从非刚体运动恢复的知识中提取弱监督三维姿态学习

PDF
TL;DR本研究提出基于非刚性结构运动学 (NRSfM) 知识蒸馏的三维姿态估计方法，它仅使用 2D 地标注释而不需要 3D 数据、多视角 / 时间镜头或对象特定先验，从而减轻了监督方法中的数据瓶颈。该方法使用一种新颖的损失，将深度预测与 NRSfM 中使用的代价函数联系起来，从而使学生姿态估计器能够通过与图像特征关联来减少深度误差。在 H3.6M 数据集上验证，我们学习的三维姿态估计网络实现了比 NRSfM 方法更准确的重建，并且在使用更少的监督的情况下表现比其他弱监督方法更好。
3d pose estimatornon-rigid structure from motion2d landmark annotationsdepth predictionsupervised learning
发现论文，激发创造
  • 非刚体运动结构从运动建模的无监督三维姿态估计

    本文提出了一种新的人体姿势变形建模方法，并设计了一种基于扩散的运动先验。通过非刚性运动结构重建 3D 人体骨骼的任务分为估计 3D 参考骨架和逐帧骨架变形。同时使用混合时空 NRSfMformer 从 2D 观察序列中估计每一帧的 3D 参考骨架和骨架变形，并将它们相加得到每一帧的姿势。最后，使用基于扩散模型的损失项确保管道学习正确的先验运动知识。最终，在主流数据集上评估了提出的方法，并获得了优于现有技术的结果。

    Aug, 2023

  • 深度非刚性结构运动

    本文提出了一种基于深度神经网络的非刚性运动结构恢复方法，该方法在订单级别上表现出比所有现有技术更出色的精度和鲁棒性，能够处理规模和形状复杂度前所未有的问题，并提出了一种基于网络权重的质量度量来评估重建可信度。

    Jul, 2019

  • Procrustes 回归网络：从二维标注中学习非刚性物体的三维结构

    提出了一种新的神经网络训练框架，可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息，该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点，使用损失函数进行训练后，网络可以学习人类骨架和面孔等对象的 3D 结构，在测试过程中可以处理带有丢失入口的输入，实验证明该框架表现优异，即使底层网络结构非常简单，在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。

    Jul, 2020

  • 带有缺失数据的深度非刚性运动结构

    本文提出了一种基于深度神经网络和稀疏编码模型的新型非刚性运动结构重建方法，通过模型区分位姿和三维结构，解决了先前算法在图片数量和形状可变性方面的局限性，在视觉领域的应用得到了显著的提升。

    Jul, 2019

  • 从结构和动作学习 3D 人体姿势

    使用两种解剖启发的损失函数和弱监督学习框架，结合大规模野外 2D 和室内 / 合成 3D 数据共同学习人体姿态估计。还提出了一个简单的时间网络来调和预测的姿态序列，并通过损失表面可视化和敏感性分析仔细分析了所提出的贡献的工作机制。我们的完整流程在 Human3.6M 和 MPI-INF-3DHP 上分别提高了 11.8％和 12％，并在普通图形卡上以 30 FPS 运行。

    Nov, 2017

  • PoseNet3D: 通过知识蒸馏学习具有时间一致性的三维人体姿势

    提出使用神经网络框架 PoseNet3D 将二维关节作为输入，输出三维骨架和 SMPL 体模型参数，通过在学生 - 教师框架下的学习方法，无需使用任何 3D 数据进行训练，结果表明与之前的无监督方法相比，该方法将 3D 关节预测误差降低了 18％。

    Mar, 2020

  • 非刚性运动结构基准与评估

    提供了一个公开的数据集，以及基于该数据集的非刚性运动结构问题研究的基准和仔细的评估，并对非刚性运动结构问题的研究现状和未来方向进行了研究。

    Jan, 2018

  • 密集非刚性运动：流形观点

    该论文提出了一种新的方法，使用 Grassmannian 和低秩表示来恢复非刚性物体的不断变形的 3D 结构。该方法相对于以前的方法具有更高的准确性，可扩展性和鲁棒性，并且在标准基准数据集上取得了领先的性能。

    Jun, 2020

  • HeadRecon：基于单目视频的高保真三维头部重构

    从任意单眼视频中重建高保真 3D 头部模型的方法。设计了一个带有两个动态变形场的动态隐式神经网络，通过学习的有符号距离场在规范空间中建模头部几何形状，以提高重建精度和鲁棒性。与先进方法的大量消融研究和比较显示出我们提出的方法的有效性和鲁棒性。

    Dec, 2023

  • 非刚性运动三维重建：时间平滑的 Procrustean 对齐与空间变形建模

    从时空建模的角度解决非刚性结构从动（NRSfM）中的关键挑战，包括运动 / 旋转的歧义、基于全局形状的低秩模型对 3D 形状序列的变形处理问题。通过引入新的临时平滑的 Procrustean 对齐模块和自适应的空间加权方法，提出了一种更好的非刚性结构建模方法，模型效果超过现有的以低秩为基础的方法。

    May, 2024