Jul, 2023

TransPose: 一个基于 Transformer 的六自由度物体姿态估计网络与深度修正

PDF
TL;DR该研究提出了一种改进的基于 Transformer 的 6D 位姿估计方法 TransPose，它利用 RGB 图片作为输入，结合轻量级深度估计网络和变压器检测网络，并通过深度细化模块对位姿进行精度优化，在果树采摘应用方面取得了优于其他现有方法的效果。
robotics manipulation6d pose estimationconvolutional neural networkstransformer-based detection networkdepth refinement module
发现论文，激发创造
  • TransPose：基于几何感知的 Transformer 的 6D 物体姿态估计

    TransPose 是一个利用 Transformer 编码器和几何感知模块的 6D 姿态框架，用于提取和利用深度信息中的几何特征，以实现更准确的预测。通过统一采样点云，并借助设计的局部特征提取器和图卷积网络提取局部几何特征；采用 Transformer 进行全局信息交换，使每个局部特征包含全局信息；最后，在 Transformer 编码器中引入几何感知模块，为点云特征学习提供有效约束，并使全局信息交换与点云任务更加紧密结合。实验结果表明，通过 TransPose 的 6D 姿态估计管道在三个基准数据集上取得了有竞争力的结果。

    Oct, 2023

  • 基于深度模型的 RGB 图像中的 6D 姿态细化

    本研究提出了一种基于深度神经网络的视觉损失函数，通过对凸形物体外轮廓的对齐来驱动位姿更新进行模型为 6D 姿态精修的处理，方法无需确定外观模型、免除了手动图像分割、同时能够处理遮挡问题和几何不对称性与视觉模糊问题，并且能够在没有深度数据的情况下准确地估算物体位姿。

    Oct, 2018

  • T6D-Direct: 多物体 6D 姿态直接回归的 Transformers

    本文提出了基于 Transformer 神经网络，通过直接估计的方式在 YCB-Video 数据集上进行 6D 多物体姿态估计，实现了最快的推理时间和与最先进方法相当的姿态估计精度。

    Sep, 2021

  • Deep-6DPose：从单个 RGB 图像中恢复 6D 物体姿态

    本文介绍了一种名为 Deep-6DPose 的端到端深度学习框架，可以从单个 RGB 图像中同时检测、分割并恢复目标实例的 6D 姿态。实验表明，Deep-6DPose 比目前基于 RGB 的多阶段姿态估计方法更快，并且在标准的姿态基准数据集上显示出与现有方法相当的好的效果。

    Feb, 2018

  • YOLOPose V2：基于 Transformer 的 6D 姿态估计的理解与改进

    基于 Transformer 的 YOLOPose 模型通过关键点回归和改进的方式实现多目标 6D 姿态估计，适用于实时应用，并达到与最先进方法相媲美的效果。

    Jul, 2023

  • TransPose: 具有六个惯性传感器的实时三维人体翻译和姿态估计

    本文提出了一种基于深度神经网络的新方法 TransPose，旨在通过仅 6 个惯性测量单元（IMUs）的运动数据，实现全身动作的捕捉，包括全局平移和身体姿势，并展示了其在准确性和效率方面优于目前的学习和优化方法。

    May, 2021

  • TransPose: 基于 Transformer 的关键点定位

    本文介绍了一种名为 TransPose 的模型，它是用 Transformer 来进行人体姿态估计的，能够有效地捕捉长距离的关系以及细粒度的图像依赖关系，并通过产生热力图来进行关键点的定位。基于此，模型可以实现更快速的处理速度和更轻量化的模型结构。

    Dec, 2020

  • 6D-ViT: 基于变换器的实例表示学习，用于分类级别的 6D 目标姿态估计

    本文提出了 6D-ViT，这是一种基于变压器的实例表示学习网络，可用于对 RGB-D 图像进行高准确度的类别级对象姿态估计。通过使用来自 RGB 图像、点云和形状先验的复杂和强大的实例表示进行实验演示，该框架可显著提高现有方法的性能

    Oct, 2021

  • PViT-6D：使用置信水平预测和姿态令牌超频视觉变换器的 6D 位姿估计

    我们的研究将 6D 姿态估计问题转化为直接的回归任务，利用 Vision Transformers 的能力进行探索，通过对分类标记的定制使用来进行姿态估计。我们还引入了一种简单的方法来确定姿态的置信度，这可以很容易地集成到大多数 6D 姿态估计框架中。我们的方法 PViT-6D 在实现简单和端到端可学习的同时，表现优于当前最先进方法，在 Linemod-Occlusion 数据集上提高 0.3% ADD (-S)，在 YCB-V 数据集上提高 2.7% ADD (-S)。此外，我们的方法提高了模型的可解释性和推理性能的可靠性。

    Nov, 2023

  • ZS6D: 使用视觉变换器进行零样本 6D 物体姿态估计

    通过使用预训练的 Vision Transformers（ViT）提取的视觉描述符，我们引入了 ZS6D 方法，用于零样本新目标 6D 姿态估计，该方法在众多最新的姿态估计方法上表现卓越，无需进行特定任务的微调。我们在 LMO、YCBV 和 TLESS 等三个数据集上进行了实验，并与两种方法进行了比较，结果在所有三个数据集上相较于其中一种方法有显著提升，在两个数据集上相较于另一种方法有提升。

    Sep, 2023