Omni6D:用于类别级6D物体姿态估计的大词汇量3D物体数据集
本文旨在估计RGB-D图像中看不见的物体实例的6D姿态和尺寸,通过引入归一化对象坐标空间(NOCS)及基于区域的神经网络,结合大量混合现实数据来训练模型,最终能够在真实环境中以鲁棒的方式估计看不见的物体实例的姿态和大小,并在标准6D姿态估计基准上实现业内领先水平。
Jan, 2019
本文介绍了一个新的数据集和基准测试标准,主要针对从3D模型(有纹理和无纹理)训练,可扩展性,遮挡,光照和物体外观的变化等方面测试6D姿态估计算法的性能,并使用最先进的DPOD检测器来设置基线。
Apr, 2019
本文提出了一个称为OVE6D的通用框架,用于基于模型的6D物体姿态估计,并使用纯合成数据来训练模型。通过将6D姿态分解为视点、绕摄像机光轴的平面旋转和平移,并引入新颖的轻量级模块进行级联估计,我们实现了对新实际世界的对象泛化而不需要微调。我们的网络包含少于4M个参数,但在没有任何特定数据集的训练下,在具有挑战性的T-LESS和Occluded LINEMOD数据集上表现出优秀的性能。我们还表明,OVE6D的表现优于一些专门针对具有现实世界训练数据的单个对象或数据集进行训练的当代深度学习姿势估计方法。我们将公开实现和预训练模型。
Mar, 2022
使用 Wild6D 数据集,采用半监督学习,通过自由的渲染方法与真实数据的轮廓匹配目标函数得到的 Rendering for Pose estimation network RePoNet 模型,在无需真实数据 3D 标注的情况下,能更好地解决类别级别的 6D 对象位姿估计问题。
Jun, 2022
本文提出了一种新颖的流程,通过解耦6D姿态和尺寸估计,减轻了单目观察带来的尺度不精确对刚性变换的影响,并借助预训练的单目估计器获取局部几何信息,以便搜寻二维-三维对应关系,并利用基于类别级统计的独立分支直接恢复物体的度量尺度,最后倡导使用RANSAC-P$n$P算法鲁棒求解6D物体姿态。在合成和真实数据集上进行了大量实验证明,相对于先前最先进的基于RGB的方法,我们的方法在旋转准确性方面表现出更高的性能。
Sep, 2023
我们在研究中引入了开放词汇的物体6D姿态估计新设置,其中使用文本提示来指定感兴趣的物体,并提出了一种新方法来通过视觉-语言模型从两个不同场景的图像中分割和估计物体的相对6D姿态。
Dec, 2023
研究一种新的开放问题,即开放词汇类别级别的对象姿态和尺寸估计。介绍了一个基于预训练模型构建的框架,利用大规模数据集进行训练,并在各种文本描述的情况下实现了广泛推广。
Mar, 2024
6D目标姿态估计是计算机视觉中一个重要且具有挑战性的任务,本文介绍了Omni6DPose数据集以及使用GenPose++方法对其进行的基准分析。
Jun, 2024
本研究解决了目前6D姿态估计在基准数据集上忽视视觉模糊多样性的问题,提出了一种基于图像特征的自动重新标注方法,从而生成适用于每张图片的6D姿态分布。研究结果显示,采用新的标注后,现有方法的排名显著变化,为首次在真实图像中评估姿态分布提供了新的基准。
Aug, 2024
本研究解决了现有数据集中类别范围有限和忽略遮挡等现实挑战的问题,提出了Omni6D,一个涵盖166个类别和4688个实例的全面RGBD数据集。文章引入了一种基于对称性的评估指标,并对现有算法进行了系统基准测试,提出的一种有效微调方法可将先前数据集的模型适应到我们的大词汇量设置,从而推动6D物体姿态估计的新进展。
Sep, 2024