GS-Pose: 基于几何和语义一致的类别级目标姿态估计

Nov, 2023

GS-Pose: 基于几何和语义一致的类别级目标姿态估计

GS-Pose: Category-Level Object Pose Estimation via Geometric and Semantic Correspondence

Pengyuan Wang, Takuya Ikeda, Robert Lee, Koichi Nishiwaki

TL;DR类别级别姿态估计是一项具有挑战性的任务，近期深度学习方法取得了很大进展，但常常受到需要大量数据集或精心调整的逼真模拟器的限制。为了解决这个冲突，我们提出利用从预训练基础模型中获取的几何和语义特征，通过将 2D 特征从基础模型投影到三维空间来对单个类别的物体模型进行匹配，并在训练好的匹配网络上处理对未见物体实例的新的单视图观测，这比先前方法需要的数据量显著减少。我们通过丰富的评估结果表明了这一点，并展示了比先前方法更好的性能。

Abstract

category-level pose estimation is a challenging task with many potential applications in computer vision and robotics. Recently, deep-learning-based approaches have made great progress, but are typically hindered by the need for large datasets of either pose-labelled real images or car

category-level pose estimation deep-learning-based approaches geometric and semantic features matching network improved performance

发现论文，激发创造

GPV-Pose: 基于几何引导的点级投票的类别级物体姿态估计

提出了一种基于几何学的、适用于具有严重类内形状变化的物体类别级别姿态估计系统 GPV-Pose，该系统通过引入自信驱动旋转表示法和几何引导的点对点投票模式来提高分类级别姿态敏感特征的学习，并利用不同的输出流来实现几何一致性项的推理，优于公共基准测试的最新竞争对手，同时在 20 FPS 的实时推理速度下几乎达到最佳表现。

Mar, 2022

通过神经分析合成实现类别层级物体姿态估计

本文提出了一种基于图像合成模块和基于梯度的拟合过程相结合的方法，能够通过显式地表示个别物体实例的需求，来隐式地表示整个物体类别的外观、形状和姿态，从而无需每个物体实例都有一个显式的 CAD 模型。该方法包括图像合成台阶、对应误差度量的拟合台阶和对输入参数的反向传播优化台阶，且实验证明该方法可以仅通过 2D 图像就能准确地恢复物体的方向和全姿态。

Aug, 2020

利用 SE（3）等变性进行自监督分类目标位姿估计

该研究提出了一个基于自监督学习框架和 SE (3) 等变点云网络的类别级别物体位姿估计方法，可在没有真值姿态注释、CAD 模型和多视图监督的情况下，从单独的 3D 点云中进行类别级别的六自由度物体位姿估计，并在多个基准测试上验证了该方法的有效性。

Oct, 2021

实例自适应和几何感知关键点学习用于类别级 6D 物体姿态估计

提出了一种新颖的 Instance-Adaptive 和 Geometric-Aware Keypoint Learning 方法，用于类别级别的 6D 物体位姿估计。实验结果表明，该方法在没有类别特定形状先验知识的情况下，明显优于现有的方法。

Mar, 2024

HS-Pose: 混合范围特征提取用于类别级目标姿态估计

本研究提出了一种名为 HS-layer 的简单网络结构，可以从点云数据中提取混合范围潜在特征，用于类别级对象姿态估计任务。使用 HS-layer 取代 GPV-Pose 基线方法中的 3D-GC 层，可以显著提高性能，在 5d2cm 指标上提高 14.5％，在 IoU75 上提高 10.3％。与现有方法相比，在 REAL275 数据集上的表现优异，较之提高 8.3％（5d2cm）和 6.9％（IoU75），且运行速度快（50 FPS）。

Mar, 2023

基于扩散模型的生成式类别级物体位姿估计: GenPose

本文提出了一种基于条件生成建模的目标姿态估计方法，该模型采用基于得分的扩散模型来估计对象姿态，借助二步过程（似然度估计和均值池化）从扩散模型中抽样候选项并综合其结果，约束了不确定性。该方法在 REAL275 数据集上实现了最先进的性能，且不需要微调即可适应具有相似对称性质的新类别，且能够产生与当前最先进的基线相当的结果。

Jun, 2023

点云的通用类别姿态估计

该论文介绍了一种通过使用几何特征来估计点云的位姿而无需分类信息的方法，该方法可以成功地在 CAMERA25 数据集和 ModelNet40 数据集上实现无分类信息实例的位姿标注。

Mar, 2024

基于合成数据的鲁棒性类别层次 3D 姿态估计

本篇论文提出 SyntheticP3D 数据集和 CC3D 方法，结合这两种方法可以实现在只用 10% 的真实数据的情况下，与当前最先进的模型在物体位姿估计方面取得了可与之媲美结果，在采用 50% 的真实数据时还超越了 SOTA 模型 10.4%。

May, 2023

GS-Pose：通用分割 6D 物体位姿估计的级联框架

GS-Pose 是一个端到端的定位和估计物体 6D 姿态的框架，通过构建三种不同的表示形式，利用逐步定位、检索方法和渲染比较方法，以适应各个阶段的合适物体表示，并利用可用的工具链和常见硬件进行新对象的数据捕捉和数据库添加。在 LINEMOD 和 OnePose-LowTexture 数据集上进行广泛评估，取得了卓越的性能，建立了新的最先进技术。

Mar, 2024

从单个示例学习类别级别物体表示以估计姿态

该研究提出了一种基于单个对象检查实现类别级姿态估计的方法，通过利用多视角对应关系从而为未见过的对象的姿势估计提供更精确的结果，并展示了该方法在连续学习环境下的应用。

May, 2023