Jun, 2024

Open-YOLO 3D：面向快速准确的开放词汇的 3D 实例分割

PDF
TL;DR我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的 Open-YOLO 3D 在两个基准测试集 ScanNet200 和 Replica 上实现了最先进的性能，在与文献中最佳方法相比速度提高了多达 16 倍。
open-vocabulary 3d instance segmentationinference speedcomputation requirements2d object detectionclass-agnostic 3d masks
发现论文，激发创造
  • OpenMask3D: 开放式词汇的三维实例分割

    本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。

    Jun, 2023

  • 2D-3D 视觉 - 语言蒸馏的 3D 开放词汇全景分割

    我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明，我们的方法显著优于强基准模型。

    Jan, 2024

  • 开放词汇 SAM3D：理解任何三维场景

    OV-SAM3D 是一个通用框架，用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解，通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表，结合超点和分割掩模生成最终的 3D 实例，经过对 ScanNet200 和 nuScenes 数据集的实证评估，我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。

    May, 2024

  • 基于基础模型的 3D 开放词汇分割

    本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

    May, 2023

  • 基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

    OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

    Jul, 2022

  • Open3DIS: 基于 2D 掩码引导的开放词汇 3D 实例分割

    Open3DIS 是对 3D 场景中开放词汇实例分割问题的一种新解决方案，通过聚合帧间的 2D 实例掩码并将其映射到几何连贯的点云区域作为高质量的对象提案，与 3D 非特定类实例提案相结合，能够在真实世界的广泛对象中实现显著的性能提升。

    Dec, 2023

  • Complexer-YOLO：基于语义点云的实时 3D 目标检测和跟踪

    本文提出了一种融合神经网络、视觉语义分割、在自主驾驶场景下的 3D 目标检测方法，引入了一种名为 SRTs 的快速评估指标，并采用状态优化的多目标特征跟踪机制，实现了高精度和实时性的平衡，并在 KITTI 基准测试中验证了方法的有效性。同时，该方法首次将视觉语义与 3D 目标检测相融合。

    Apr, 2019

  • OpenIns3D：3D 开放词汇实例分割的捕捉与查询

    OpenIns3D 是一个不需要 2D 图像输入的用于实例级别的三维开放词汇场景理解的全新框架，通过 Mask-Snap-Lookup 方案实现，能够在室内和室外的广泛数据集上取得优越的结果，并支持无需重新训练即可切换 2D 检测器的功能。

    Sep, 2023

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • OVIR-3D：在不使用 3D 数据训练的情况下进行开放词汇 3D 实例检索

    通过多视角融合文本对齐的 2D 区域建议，在不使用任何 3D 数据进行训练的情况下，提出了 OVIR-3D 方法，能够根据对象实例和文本查询的特征相似性返回排名的 3D 对象实例分段。经过公共数据集和实际机器人的实验表明了该方法的有效性及其在机器人导航和操作中的潜力。

    Nov, 2023