带有缺失数据的深度非刚性运动结构
本文提出了一种基于深度神经网络的非刚性运动结构恢复方法,该方法在订单级别上表现出比所有现有技术更出色的精度和鲁棒性,能够处理规模和形状复杂度前所未有的问题,并提出了一种基于网络权重的质量度量来评估重建可信度。
Jul, 2019
该论文提出了一种新的方法,使用 Grassmannian 和低秩表示来恢复非刚性物体的不断变形的 3D 结构。该方法相对于以前的方法具有更高的准确性,可扩展性和鲁棒性,并且在标准基准数据集上取得了领先的性能。
Jun, 2020
利用子空间聚类的方法,本文首次提出了一个针对多体非刚性 SFM 的有效框架,能够同时将每个 3D 轨迹重建和分段到其各自的低维子空间中,并通过对合成和真实数据序列进行广泛实验验证其功效,明显优于其他替代方法。
Jul, 2016
本文提出了一种在 Grassmann 流形上建模的密集非刚性结构运动方法,通过在时空上局部线性子空间的联合模拟非刚性变形,不仅可缩小误差和提高可扩展性,而且对于高度非线性的形变具有更好的鲁棒性。
Mar, 2018
本文提出了一种基于时空平滑的简单非刚性运动稠密重构方法,通过同时利用时域平滑性和空间平滑性,以及使用拉普拉斯算子和 L1 范数来处理实际测量中的噪声和异常值,解决了非刚性结构运动重构难的问题,并且在合成和实际图像上的实验结果表明,该方法优于现有的非刚性重构方法。
Jun, 2017
从时空建模的角度解决非刚性结构从动(NRSfM)中的关键挑战,包括运动 / 旋转的歧义、基于全局形状的低秩模型对 3D 形状序列的变形处理问题。通过引入新的临时平滑的 Procrustean 对齐模块和自适应的空间加权方法,提出了一种更好的非刚性结构建模方法,模型效果超过现有的以低秩为基础的方法。
May, 2024
提出了一种新的神经网络训练框架,可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息,该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点,使用损失函数进行训练后,网络可以学习人类骨架和面孔等对象的 3D 结构,在测试过程中可以处理带有丢失入口的输入,实验证明该框架表现优异,即使底层网络结构非常简单,在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。
Jul, 2020
本研究提出基于非刚性结构运动学 (NRSfM) 知识蒸馏的三维姿态估计方法,它仅使用 2D 地标注释而不需要 3D 数据、多视角 / 时间镜头或对象特定先验,从而减轻了监督方法中的数据瓶颈。该方法使用一种新颖的损失,将深度预测与 NRSfM 中使用的代价函数联系起来,从而使学生姿态估计器能够通过与图像特征关联来减少深度误差。在 H3.6M 数据集上验证,我们学习的三维姿态估计网络实现了比 NRSfM 方法更准确的重建,并且在使用更少的监督的情况下表现比其他弱监督方法更好。
Aug, 2019
本文提出了一种新的人体姿势变形建模方法,并设计了一种基于扩散的运动先验。通过非刚性运动结构重建 3D 人体骨骼的任务分为估计 3D 参考骨架和逐帧骨架变形。同时使用混合时空 NRSfMformer 从 2D 观察序列中估计每一帧的 3D 参考骨架和骨架变形,并将它们相加得到每一帧的姿势。最后,使用基于扩散模型的损失项确保管道学习正确的先验运动知识。最终,在主流数据集上评估了提出的方法,并获得了优于现有技术的结果。
Aug, 2023