LatentFusion:端到端可区分重建与渲染,用于未见目标姿态估计
该研究提出了一种基于卷积神经网络(CNN)的后验概率密度的学习比较方法,可以更准确地进行物体的6D位姿估计。经过实验证明,相比于现有技术,在不同场景下且包括不同形状和外观的11个物体的多个数据集中,具有显著的性能提升。
Aug, 2015
本文提出一种基于分割的6D姿态估计框架,使用关键点检测获取局部姿态预测,并根据置信度预测将这些姿态候选融合成可靠的3D-to-2D对应关系,从而在多个低纹理物体相互遮挡的情况下获得最优姿态估计,其采用简单且高效的架构实现实时性能。
Dec, 2018
本文提出了一种利用点云深度信息并结合卷积神经网络和几何姿态优化,分别使用旋转和平移回归网络的方法来估算已知3D物体的6自由度姿态,其中通过旋转轴角表示旋转并使用测地线损失函数进行回归,实验结果在YCB-video数据集上明显优于现有方法。
Jan, 2020
本文提出了一种名为神经物体学习(NOL)的方法,通过从凌乱图像中结合少数观察来创建任意姿态下的对象的合成图像,并提出了一种新的细化步骤来对齐源图像中不准确的对象姿态,从而得到更好的图像。在两个公共数据集上进行的评估表明,由NOL生成的渲染图像相比使用13倍真实图像数量的方法实现了最先进的性能,而对我们的新数据集进行的评估显示可以使用固定场景的序列同时训练和识别多个对象。
May, 2020
本研究提出了一种基于深度学习的方法,通过创建有关先前学习类别形状先验信息的3D对象模型并推断出深度观测和3D模型之间的密集对应关系,使得能够从RGB-D图像中恢复未看见的物体实例的6D姿态和大小。
Jul, 2020
本文提出了一个称为OVE6D的通用框架,用于基于模型的6D物体姿态估计,并使用纯合成数据来训练模型。通过将6D姿态分解为视点、绕摄像机光轴的平面旋转和平移,并引入新颖的轻量级模块进行级联估计,我们实现了对新实际世界的对象泛化而不需要微调。我们的网络包含少于4M个参数,但在没有任何特定数据集的训练下,在具有挑战性的T-LESS和Occluded LINEMOD数据集上表现出优秀的性能。我们还表明,OVE6D的表现优于一些专门针对具有现实世界训练数据的单个对象或数据集进行训练的当代深度学习姿势估计方法。我们将公开实现和预训练模型。
Mar, 2022
本文探讨了一种新的开放式少样本目标6D姿态估计问题,并提出了一种密集的RGBD原型匹配框架,加上深度外观和几何相关性的先验,以及一种在线纹理融合方法,为解决这个问题建立了基准。
Mar, 2022
我们引入了Diff-DOPE,这是一种6自由度姿态微调器,其输入为图像、一个物体的3D纹理模型和物体的初始姿态。这种方法使用可微渲染来更新物体姿态,以减小图像与模型投影之间的视觉误差,我们展示了这种简单且有效的想法能在姿态估计数据集上达到最先进的结果。我们的方法与最近的方法有所不同,最近的方法中姿态微调器是在大型合成数据集上训练的深度神经网络,用于将输入映射到微调步骤,而我们的可微渲染的使用使我们能够完全避免训练。我们的方法可以同时进行多个梯度下降优化,使用不同的随机学习率,以避免对称对象、相似外观或错误步长的局部最小值。可以使用各种模态,例如RGB、深度、强度边缘和物体分割掩码。我们进行了一系列实验,研究了各种选项的效果,结果表明,当RGB图像与物体掩码和深度图像一起用于引导优化过程时,能获得最佳的结果。
Sep, 2023