Aug, 2023

非刚体运动结构从运动建模的无监督三维姿态估计

PDF
TL;DR本文提出了一种新的人体姿势变形建模方法，并设计了一种基于扩散的运动先验。通过非刚性运动结构重建 3D 人体骨骼的任务分为估计 3D 参考骨架和逐帧骨架变形。同时使用混合时空 NRSfMformer 从 2D 观察序列中估计每一帧的 3D 参考骨架和骨架变形，并将它们相加得到每一帧的姿势。最后，使用基于扩散模型的损失项确保管道学习正确的先验运动知识。最终，在主流数据集上评估了提出的方法，并获得了优于现有技术的结果。
3d human pose estimationhuman posture deformationdiffusion-based motion priornon-rigid structure-from-motionprior motion knowledge
发现论文，激发创造
  • 深度非刚性结构运动

    本文提出了一种基于深度神经网络的非刚性运动结构恢复方法，该方法在订单级别上表现出比所有现有技术更出色的精度和鲁棒性，能够处理规模和形状复杂度前所未有的问题，并提出了一种基于网络权重的质量度量来评估重建可信度。

    Jul, 2019

  • 从非刚体运动恢复的知识中提取弱监督三维姿态学习

    本研究提出基于非刚性结构运动学 (NRSfM) 知识蒸馏的三维姿态估计方法，它仅使用 2D 地标注释而不需要 3D 数据、多视角 / 时间镜头或对象特定先验，从而减轻了监督方法中的数据瓶颈。该方法使用一种新颖的损失，将深度预测与 NRSfM 中使用的代价函数联系起来，从而使学生姿态估计器能够通过与图像特征关联来减少深度误差。在 H3.6M 数据集上验证，我们学习的三维姿态估计网络实现了比 NRSfM 方法更准确的重建，并且在使用更少的监督的情况下表现比其他弱监督方法更好。

    Aug, 2019

  • 非刚性运动三维重建：时间平滑的 Procrustean 对齐与空间变形建模

    从时空建模的角度解决非刚性结构从动（NRSfM）中的关键挑战，包括运动 / 旋转的歧义、基于全局形状的低秩模型对 3D 形状序列的变形处理问题。通过引入新的临时平滑的 Procrustean 对齐模块和自适应的空间加权方法，提出了一种更好的非刚性结构建模方法，模型效果超过现有的以低秩为基础的方法。

    May, 2024

  • 带有缺失数据的深度非刚性运动结构

    本文提出了一种基于深度神经网络和稀疏编码模型的新型非刚性运动结构重建方法，通过模型区分位姿和三维结构，解决了先前算法在图片数量和形状可变性方面的局限性，在视觉领域的应用得到了显著的提升。

    Jul, 2019

  • Procrustes 回归网络：从二维标注中学习非刚性物体的三维结构

    提出了一种新的神经网络训练框架，可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息，该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点，使用损失函数进行训练后，网络可以学习人类骨架和面孔等对象的 3D 结构，在测试过程中可以处理带有丢失入口的输入，实验证明该框架表现优异，即使底层网络结构非常简单，在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。

    Jul, 2020

  • 多体非刚性结构运动

    利用子空间聚类的方法，本文首次提出了一个针对多体非刚性 SFM 的有效框架，能够同时将每个 3D 轨迹重建和分段到其各自的低维子空间中，并通过对合成和真实数据序列进行广泛实验验证其功效，明显优于其他替代方法。

    Jul, 2016

  • 无监督三维人体姿态估计的运动学结构保留表示

    本文提出了一种采用运动学结构保持无监督学习的 3D 人体姿势估计框架，可以避免使用任何弱监督模型，并通过能量损失和运动学先验知识来训练模型，提高对新环境下的准确性和泛化能力。

    Jun, 2020

  • 密集非刚性运动：流形观点

    该论文提出了一种新的方法，使用 Grassmannian 和低秩表示来恢复非刚性物体的不断变形的 3D 结构。该方法相对于以前的方法具有更高的准确性，可扩展性和鲁棒性，并且在标准基准数据集上取得了领先的性能。

    Jun, 2020

  • 非刚性运动结构基准与评估

    提供了一个公开的数据集，以及基于该数据集的非刚性运动结构问题研究的基准和仔细的评估，并对非刚性运动结构问题的研究现状和未来方向进行了研究。

    Jan, 2018

  • 可扩展的密集非刚性运动结构：Grassmann 视角

    本文提出了一种在 Grassmann 流形上建模的密集非刚性结构运动方法，通过在时空上局部线性子空间的联合模拟非刚性变形，不仅可缩小误差和提高可扩展性，而且对于高度非线性的形变具有更好的鲁棒性。

    Mar, 2018