Apr, 2024

Spot-Compose: 点云中的开放词汇物体检索和抽屉操作框架

PDF
TL;DR将现代深度学习技术和大规模数据集应用于 3D 实例分割、抓取姿态估计和机器人学领域，以构建一个综合框架，实现在以人为中心的环境中的机器人交互和操控。
3d instance segmentationgrasp pose estimationroboticshuman-centric environmentscomprehensive framework
发现论文，激发创造
  • 开放词汇物体 6D 姿态估计

    我们在研究中引入了开放词汇的物体 6D 姿态估计新设置，其中使用文本提示来指定感兴趣的物体，并提出了一种新方法来通过视觉 - 语言模型从两个不同场景的图像中分割和估计物体的相对 6D 姿态。

    Dec, 2023

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • OpenSight：一种基于 LiDAR 的目标检测简单开放型词汇框架

    提出了基于 LiDAR 的开放词汇检测的先进 2D-3D 建模框架 OpenSight，通过生成 2D 边框并将其与 LiDAR 点云转换为对应的 3D 边框，增强了通用对象感知能力，并通过交叉模态对齐和融合进行特定语义解码，从而在广泛应用的 3D 检测基准上建立了最先进的开放词汇性能，并有效识别感兴趣的新类别对象。

    Dec, 2023

  • VoxPoser：使用语言模型构建可组合的三维价值地图，实现机器人操作

    使用大型语言模型综合视觉 - 语言模型，生成适用于各种机器人操作的闭环轨迹。

    Jul, 2023

  • PointNet++ 抓取：从稀疏点云学习端到端的空间握取生成算法

    本文提出了一种端到端的方法，用于直接预测所有抓取的姿态，类别和得分，并介绍了一种快速的基于 Ferrari Canny 度量的多目标抓取检测算法。该方法无需采样或搜索过程，使用整个稀疏点云作为输入。实验表明，该方法的成功率和完成率均优于当前最先进的方法。

    Mar, 2020

  • 激光雷达点的自动词汇分割

    自动驾驶中现有的感知方法无法识别训练数据中未覆盖的未知实体。开放词汇方法能够检测任何目标，但受限于用户指定的查询代表目标类别。我们提出了 AutoVoc3D，一种用于自动目标类别识别和开放式分割的框架。在 nuScenes 中的评估显示了 AutoVoc3D 生成精确的语义类别和准确的逐点分割的能力。此外，我们引入了一种新的度量方法 Text-Point 语义相似性，用于评估文本和点云之间的语义相似性，而不排除新的类别。

    Jun, 2024

  • 点击抓取：通过视觉扩散描述符实现零射击精确操控

    利用网络训练的文本到图像扩散生成模型，在无样本情况下对细粒度部件描述符进行准确操作，通过将问题框架化为密集语义部件对应任务，返回用于操作特定部件的夹爪位姿，无需手动示教，验证了该方法在真实世界的桌面场景中的实验，证明了其推进语义感知机器人操作的潜力。

    Mar, 2024

  • ModaLink: 图像到点云的高效场景识别

    通过引入快速轻量级的框架，将图像和点云转换成具有地点鉴别性的描述符。实验结果表明，所提出的方法在实时执行的同时达到了最先进的性能，具有实际的泛化能力。

    Mar, 2024

  • 开放词汇 SAM3D：理解任何三维场景

    OV-SAM3D 是一个通用框架，用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解，通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表，结合超点和分割掩模生成最终的 3D 实例，经过对 ScanNet200 和 nuScenes 数据集的实证评估，我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。

    May, 2024

  • Object2Scene：为开放词汇的 3D 检测将对象放入上下文中

    Object2Scene 和 L3Det 是用于开放词汇 3D 物体检测的首个方法，通过引入大规模的 3D 物体数据集，将物体插入到 3D 场景中来丰富 3D 场景数据集的词汇，并在不同数据集的 3D 对象之间缓解领域差异，并证实了其在 OV-ScanNet-200 基准测试中的有效性。

    Sep, 2023