Mar, 2024

OV9D：开放词汇类别级别 9D 物体姿态和尺寸估计

PDF
TL;DR研究一种新的开放问题，即开放词汇类别级别的对象姿态和尺寸估计。介绍了一个基于预训练模型构建的框架，利用大规模数据集进行训练，并在各种文本描述的情况下实现了广泛推广。
open-set problemobject posesize estimationlarge-scale datasetpre-trained models
发现论文，激发创造
  • 开放词汇物体 6D 姿态估计

    我们在研究中引入了开放词汇的物体 6D 姿态估计新设置，其中使用文本提示来指定感兴趣的物体，并提出了一种新方法来通过视觉 - 语言模型从两个不同场景的图像中分割和估计物体的相对 6D 姿态。

    Dec, 2023

  • 基于标准化目标坐标空间的分类别 6D 目标位姿和大小估计

    本文旨在估计 RGB-D 图像中看不见的物体实例的 6D 姿态和尺寸，通过引入归一化对象坐标空间 (NOCS) 及基于区域的神经网络，结合大量混合现实数据来训练模型，最终能够在真实环境中以鲁棒的方式估计看不见的物体实例的姿态和大小，并在标准 6D 姿态估计基准上实现业内领先水平。

    Jan, 2019

  • 高分辨率开放词汇对象 6D 姿态估计

    Horyon 是一种基于开放词汇量的 Vision-Language Model 架构，通过使用自然语言描述来解决视觉中六维位姿估计任务中未见过对象之间的相对位姿估计问题，并在四个数据集上实现了最先进的性能，优于之前的方法。

    Jun, 2024

  • MV-ROPE: 面向鲁棒的类别级物体姿态和尺寸估计的多视角约束

    提出了一种新颖的基于 RGB 图像的类别级 6D 物体姿态和尺寸估计框架，通过预测归一化物体坐标空间 (NOSC) 来提取 RGB 图像中的物体规范表示。通过利用多视图信息和单目密集 SLAM 框架，引入多视图约束，可以从单目图像中获取准确的相机姿态和深度估计。此外，通过引入相机相对姿态的约束，可以在多视图物体姿态上应用修剪策略和鲁棒姿态平均，从而在缺乏直接深度读数的情况下获得更准确、更鲁棒的类别级物体姿态估计。此外，还引入了一种新颖的 NOSC 预测网络，显著提高了性能。实验证明了我们提出方法的强大性能，甚至可以与公共数据集序列上的最先进的 RGB-D 方法相媲美。此外，通过在自收集数据集上评估，展示了我们方法的泛化能力。

    Aug, 2023

  • CLIPose: 预训练视觉语言知识下的类别级物体姿态估计

    通过利用不同模态的丰富语义知识，以及多模态对齐和增强的方式，CLIPose 提出了一种新颖的 6D 姿态框架，以更好地实现对目标类别信息的学习和姿态估计，并在两个主流基准数据集上取得了最先进的性能。

    Feb, 2024

  • CoDA: 协作式创新箱发现与开放式词汇 3D 物体检测的交叉模态对齐

    通过统一的框架，在有限的基础类别的条件下，本论文旨在同时解决定位和分类新颖目标的两个问题，提出了一种有效的 3D 新目标发现策略以及基于发现的新目标的跨模态对齐模块，通过迭代增强的对齐来统一实现了开放词汇 3D 目标检测的既定框架。

    Oct, 2023

  • PLA: 基于自然语言的开放词汇三维场景理解

    通过对具有语义丰富标题的多视图图像进行记录，来设计分层三维标题对，使用对比学习，学习与图像相连的语言感知嵌入，并在开放词汇语义和实例分割方面表现出卓越的性能，具有鲁棒的可迁移性。

    Nov, 2022

  • 带伪边界框标签的开放词汇目标检测

    本研究提出一种方法，从大规模图像 - 字幕对中自动生成多样物体的伪包围框注释，以扩大训练基础类别的范围，并通过实验证明该方法在各种数据集上比最先进的开放词汇检测器有更好的检测结果。

    Nov, 2021

  • 合作式新颖物体发现与基于盒子引导的跨模态对齐在开放词汇 3D 物体检测中的应用

    CoDAv2 是一个统一的框架，用于创新性地解决有限基本类别条件下的新型 3D 物体的定位和分类问题，其中使用 3D 几何和 2D 开放词汇语义先验来发现训练期间新型物体的伪标签以及通过 3D 点云和 2D / 文本模态之间的特征对齐来提升分类准确性。

    Jun, 2024

  • 基于条件神经过程的类别无关 6D 位姿估计

    本研究提出了一种新颖的基于元学习的方法，用于对未知对象进行六自由度姿态估计，并通过条件神经过程元学习训练将纹理和几何特征编码到隐向量空间，用于在新图像中预测对象的六自由度姿态，实验证明该算法在不同形状和外观的未见对象上具有强大的泛化能力。

    Jun, 2022