C3DPO: 用于非刚性结构运动的规范化三维姿态网络
本文提出了一种名为 DensePose 3D 的方法,通过弱监督机器学习从二维图像注释中实现基于单目视觉的带关节物体(例如人和动物)的三维重建,同时通过利用 Laplace-Beltrami 算子的平滑特征函数将物体分解成部分,再预测它们的运动以在 2D DensePose-like 表面注释中正确地重影,与基于非刚性结构运动的最新基线方法相比,在合成和真实数据上对人和动物进行了显著改进。
Aug, 2021
ConDor 是一种自监督学习方法,用于学习规范化 3D 位姿,能够处理来自互联网模型集合或深度传感器的任意姿态的物体,基于 Tensor Field Networks,利用自监督损失从非规范化的 3D 点云集合中学习规范化的 3D 位姿和共同切割物体部分,实现出色的定量结果和注释迁移等新应用。
Jan, 2022
本文介绍了一种能够从 RGB 图像中检测三维物体和估计六自由度姿态的新型深度学习方法,称为 DPOD。该方法估计输入图像和可用的三维模型之间的密集多类二维三维对应关系图,通过 PnP 和 RANSAC 计算六自由度姿态,并使用基于深度学习的自定义方案对初始姿态估计进行了 RGB 姿态优化。与其他主要使用真实数据进行训练且不对合成渲染进行训练的方法不同,我们对合成数据和真实训练数据进行评估,显示出在所有最近的检测器中,此方法无论先前和后面都能够获得优异的结果。虽然具有精度,但本方法仍然具有实时性能。
Feb, 2019
本文提出了一种基于密集对应的三阶段六自由度物体检测方法,称为 DPODv2(密集姿势物体检测器),结合了 2D 物体检测与密集对应估计网络以及多视图姿态细化方法来估计完整的 6 自由度姿态,其使用了不同成像模式(RGB 或 Depth)作为输入。实验结果表明,RGB 成像在对应估计方面表现优异,而如果存在良好的 3D-3D 对应,则深度成像可提高姿势精度。
Jul, 2022
我们提出了一种完全通用的深度姿态估计方法,通过动态条件姿态估计和目标物体的 3D 模型表示相结合,能够对不属于预定义类别的自然实体进行训练并将其推广到全新类型的 3D 对象。
Jun, 2019
本文介绍了一种基于深度学习的 6D 姿态估计架构,能够直接从对应点回归 6D 姿态,并提出了单阶段 6D 姿态估计框架,能够在准确性和速度方面显著优于现有的双阶段框架。
Nov, 2019
提出了一种新的神经网络训练框架,可以在只有 2D 注释的情况下学习非刚性物体的 3D 信息,该框架通过自动确定适当的旋转解决了非刚性结构运动估计中同时估计旋转和变形的难点,使用损失函数进行训练后,网络可以学习人类骨架和面孔等对象的 3D 结构,在测试过程中可以处理带有丢失入口的输入,实验证明该框架表现优异,即使底层网络结构非常简单,在 Human 3.6M、300-VW 和 SURREAL 数据集上均优于现有最先进的方法。
Jul, 2020
提出了一种深度学习技术,用于从单个图像进行三维物体重建。与以往的方法不同的是,该方法使用只有单一视角的图像进行训练,并具有自我监督学习能力,可实现与使用更多监督信息的方法相媲美的性能。该方法还可以进行测试时间优化。
May, 2020
本文提出一种基于分割的 6D 姿态估计框架,使用关键点检测获取局部姿态预测,并根据置信度预测将这些姿态候选融合成可靠的 3D-to-2D 对应关系,从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计,其采用简单且高效的架构实现实时性能。
Dec, 2018
本篇论文提出 SyntheticP3D 数据集和 CC3D 方法,结合这两种方法可以实现在只用 10% 的真实数据的情况下,与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果,在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。
May, 2023