FoundationPose: 统一的新物体 6D 姿态估计与跟踪

Dec, 2023

FoundationPose: 统一的新物体 6D 姿态估计与跟踪

FoundationPose: Unified 6D Pose Estimation and Tracking of Novel Objects

Bowen Wen, Wei Yang, Jan Kautz, Stan Birchfield

TL;DRFoundationPose 是一个统一的基础模型，用于 6D 物体姿态估计和跟踪，通过神经内隐表示实现了对新视角的有效产生，并通过大规模合成训练、转换器结构和对比性学习公式实现了较强的广义性和优越的性能。

Abstract

We present foundationpose, a unified foundation model for 6D object pose estimation and tracking, supporting both model-based and model-free setups. Our approach can be instantly applied at test-time to a novel object without fine-tuning, as long as its CAD model is given, or a small n

foundationpose 6d object pose estimation neural implicit representation large-scale synthetic training contrastive learning formulation

发现论文，激发创造

FoundPose: 基于基础特征的未知物体姿态估计

利用 FoundPose 方法可以从单个 RGB 图像中准确估计看不见的刚性物体的 6D 姿态，方法基于 DINOv2 模型实现泛化能力强，通过 DINOv2 基于词袋模型快速检索相似模板，从而建立 2D-3D 对应，最后通过特征度量优化姿态。该方法可以应对各种物体，包括具有对称性和无纹理的复杂物体，在标准 BOP 基准测试中在粗略姿态估计的准确性和速度方面明显优于现有的 RGB 方法，而在特征度量和额外的 MegaPose 优化的情况下，该方法胜过所有的 RGB 竞争者。

Nov, 2023

多视角多类别物体姿态估计的统一框架

本文介绍了一种基于深度卷积神经网络的方法，能够通过对特定对象类的分类和姿态回归，从单个或多视图中准确地推断大量对象类的六自由度姿态，并通过 SE（3）的均匀镶嵌提高了鲁棒性。作者还提出了一种适用于单视角存在歧义的高效多视图框架，并在 YCB-Video、JHUScene-50 和 ObjectNet-3D 三个大规模基准测试中取得了优异的表现，与目前现有技术相比表现优秀。

Mar, 2018

BundleTrack：针对新物体的 6D 位姿跟踪，无需实例或类别级别的 3D 模型

本文提出了一种不依赖于三维模型的 6D 姿态追踪框架，该框架利用深度学习和增强内存姿势图优化实现低漂移追踪，并在多种具有挑战性的场景下实现了优于现有方法的效果，同时具有比现有方法更少的信息需求。

Aug, 2021

CosyPose：一致的多视角多目标 6D 姿态估计

该论文提出了一种称为 CosyPose 的方法，能够从一组待定相机视图的场景中，准确地恢复多个已知对象的 6D 姿态，并且能够处理对象的对称性，不需要深度测量，还能自动还原场景中的物体数量，并解决了通过解决对象级捆绑调整问题实现对全局场景的细化。

Aug, 2020

GS-Pose：通用分割 6D 物体位姿估计的级联框架

GS-Pose 是一个端到端的定位和估计物体 6D 姿态的框架，通过构建三种不同的表示形式，利用逐步定位、检索方法和渲染比较方法，以适应各个阶段的合适物体表示，并利用可用的工具链和常见硬件进行新对象的数据捕捉和数据库添加。在 LINEMOD 和 OnePose-LowTexture 数据集上进行广泛评估，取得了卓越的性能，建立了新的最先进技术。

Mar, 2024

LatentFusion: 端到端可区分重建与渲染，用于未见目标姿态估计

提出一个新的 6D 目标位姿估计方法，利用神经渲染器重建物体的潜在三维表示，从而优化给定输入图像的位姿估计，并通过对大量三维形状进行训练，使其具有很好的泛化性能。

Dec, 2019

OnePose：无 CAD 模型一次性物体姿态估计

本文提出了一种名为 OnePose 的新方法，可以在没有 CAD 模型的情况下对任意类别的物体进行物体姿态估计，利用视觉定位和图形注意力网络结合进行 2D 和 3D 特征匹配，结合基于特征的姿势跟踪器，可以实现对日常家用物品 6D 姿态的实时稳定检测和跟踪。

May, 2022

形状推姿：任意三维物体的深度姿态估计

我们提出了一种完全通用的深度姿态估计方法，通过动态条件姿态估计和目标物体的 3D 模型表示相结合，能够对不属于预定义类别的自然实体进行训练并将其推广到全新类型的 3D 对象。

Jun, 2019

基于深度学习的物体姿态估计：综述

基于深度学习的物体姿态估计的最新进展、挑战和未来研究方向的综述。

May, 2024

从立体图像对中无需姿态的新视角合成中统一匹配、姿态和 NeRF

这项工作涉及从立体对生成无姿态新视角合成的任务，在 3D 视觉中是一个具有挑战性和开创性的任务。通过设计一个利用共享表示的架构，无缝集成 2D 对应匹配、相机姿态估计和 NeRF 渲染，促进这些任务的协同增强，我们在整个模型准确性上通过提议的训练策略进行端到端的培训。通过对两个现实世界数据集的多样化室内和室外场景进行广泛评估，我们证明我们的方法在特征视角变化和缺乏精确相机姿态的场景中实现了相当大的改进。

Dec, 2023