Sep, 2023

ZS6D: 使用视觉变换器进行零样本 6D 物体姿态估计

PDF
TL;DR通过使用预训练的 Vision Transformers（ViT）提取的视觉描述符，我们引入了 ZS6D 方法，用于零样本新目标 6D 姿态估计，该方法在众多最新的姿态估计方法上表现卓越，无需进行特定任务的微调。我们在 LMO、YCBV 和 TLESS 等三个数据集上进行了实验，并与两种方法进行了比较，结果在所有三个数据集上相较于其中一种方法有显著提升，在两个数据集上相较于另一种方法有提升。
robotic systems6d object pose estimationnovel object pose estimationzs6dvision transformers
发现论文，激发创造
  • 6D 物体位姿估计结合零样本学习

    提出了一种名为 PoMZ 的新方法，通过融合预训练的几何和图像模型，实现了零样本物体 6D 位姿估计的最新进展，该方法无需任务特定的微调，在 BOP 基准测试中在无法见到的物体的 6D 定位领域取得了第一名。

    Dec, 2023

  • FS6D: 对新物体进行少样本 6D 姿态估计

    本文探讨了一种新的开放式少样本目标 6D 姿态估计问题，并提出了一种密集的 RGBD 原型匹配框架，加上深度外观和几何相关性的先验，以及一种在线纹理融合方法，为解决这个问题建立了基准。

    Mar, 2022

  • PViT-6D：使用置信水平预测和姿态令牌超频视觉变换器的 6D 位姿估计

    我们的研究将 6D 姿态估计问题转化为直接的回归任务，利用 Vision Transformers 的能力进行探索，通过对分类标记的定制使用来进行姿态估计。我们还引入了一种简单的方法来确定姿态的置信度，这可以很容易地集成到大多数 6D 姿态估计框架中。我们的方法 PViT-6D 在实现简单和端到端可学习的同时，表现优于当前最先进方法，在 Linemod-Occlusion 数据集上提高 0.3% ADD (-S)，在 YCB-V 数据集上提高 2.7% ADD (-S)。此外，我们的方法提高了模型的可解释性和推理性能的可靠性。

    Nov, 2023

  • 6D-ViT: 基于变换器的实例表示学习，用于分类级别的 6D 目标姿态估计

    本文提出了 6D-ViT，这是一种基于变压器的实例表示学习网络，可用于对 RGB-D 图像进行高准确度的类别级对象姿态估计。通过使用来自 RGB 图像、点云和形状先验的复杂和强大的实例表示进行实验演示，该框架可显著提高现有方法的性能

    Oct, 2021

  • 自监督视觉 Transformer 用于新颖目标的 3D 姿态估计

    本研究评估和展示了使用对比学习来训练深度模板匹配的自监督 CNNs 和 Vision Transformers 之间的差异。结果表明，Vision Transformers 在匹配准确度方面优于 CNNs，并且对于某些情况，预训练的 Vision Transformers 并不需要微调。此外，我们还强调了比较这两种网络进行深度模板匹配时的优化和网络结构差异。

    May, 2023

  • 利用 RGB 图像进行少样本泛化学习，估计 6DoF 位姿

    本研究提出一种名为 Cas6D 的级联框架，该框架对六自由度物体姿态进行少样本学习的估计，使用自监督预训练 ViT 积累鲁棒特征、用特征金字塔进一步精炼姿态和借助离散化姿态搜索范围和渐进式缩小姿态搜索范围的特性克服了 6DoF 姿态估计中的一些常见失败模式。该研究表明，相较于 OnePose ++ 和 Gen6D，在 32-shot 设定下，Cas6D 在 LINEMOD 和 GenMOP 数据集上的定位精度分别提高了 9.2％和 3.8％（Proj-5）。

    Jun, 2023

  • Self6D: 自监督单目 6D 物体姿态估计

    使用无监督学习的方法进行单眼 RGB 数据下的 6D 物体位姿估计，作者训练了一个神经网络模型，通过真实 RGB-D 数据的自监督模式来提高模型的性能表现，并证明了该方法能够显著地优化模型的性能，超过了其他使用合成数据或领域适应技术的方法。

    Apr, 2020

  • 实时无缝单帧六维物体姿态预测

    该论文提出了一种单次操作的方法，可以在不需要多个阶段或检查多个假设的同时，在 RGB 图像中检测对象并预测其 6D 姿态。通过采用新的 CNN 架构和 PnP 算法，该方法可以以 50fps 的速度在 Titan X GPU 上运行，比其他最近的 CNN 方法具有更高的准确性和更适合实时处理。

    Nov, 2017

  • 通过深度特征匹配进行一次性 6D 物体姿态估计的 PoseMatcher

    本文提出了一种基于 three-view 系统的 PoseMatcher 模型来进行精确的无模型一次性物体位姿估计，同时引入了 IO-Layer 进行有效信息的交叉注意力，还设计了对象点云下的基于数字图像处理的目标选取和定位算法。实验结果证明该方法在 Linemod 和 YCB-V 数据集上表现优异。

    Apr, 2023

  • Zero123-6D：RGB 类别级别 6D 姿态估计的零样本新视角合成

    通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。

    Mar, 2024