Jun, 2023

OpenMask3D: 开放式词汇的三维实例分割

PDF
TL;DR本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。
open-vocabulary 3d instance segmentationzero-shot approachmulti-view fusionclip-based image embeddingsscannet200 dataset
发现论文，激发创造
  • Open-YOLO 3D：面向快速准确的开放词汇的 3D 实例分割

    我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的 Open-YOLO 3D 在两个基准测试集 ScanNet200 和 Replica 上实现了最先进的性能，在与文献中最佳方法相比速度提高了多达 16 倍。

    Jun, 2024

  • Open3DIS: 基于 2D 掩码引导的开放词汇 3D 实例分割

    Open3DIS 是对 3D 场景中开放词汇实例分割问题的一种新解决方案，通过聚合帧间的 2D 实例掩码并将其映射到几何连贯的点云区域作为高质量的对象提案，与 3D 非特定类实例提案相结合，能够在真实世界的广泛对象中实现显著的性能提升。

    Dec, 2023

  • 2D-3D 视觉 - 语言蒸馏的 3D 开放词汇全景分割

    我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明，我们的方法显著优于强基准模型。

    Jan, 2024

  • MaskClustering: 基于视角一致的掩膜图聚类用于开放词汇的三维实例分割

    通过多视角观察实现全局蒙版图构建和聚类，用于 3D 实例分割，并利用 2D 蒙版预测的先验实例知识，消除对 3D 数据的训练需求，实现开放词汇的实例分割和无类别蒙版生成的最新成果。

    Jan, 2024

  • 基于基础模型的 3D 开放词汇分割

    本研究利用预训练的 CLIP 和 DINO 模型的多模式知识和物体推理能力来解决三维开放式词汇分割的挑战。通过优化神经辐射场 (NeRF) 并引入相应的损失函数，本研究在无需进行微调的情况下，以开放式视觉和文本知识为先验知识，从 2D 特征中提取出 3D 分割特征。通过实验验证，本研究所提出的方法在无需分割注释的情况下，甚至优于完全监督的分割模型训练，表明三维开放式词汇分割可以有效地从 2D 图像和文本图像对中学到。

    May, 2023

  • 开放词汇 SAM3D：理解任何三维场景

    OV-SAM3D 是一个通用框架，用于不需要训练即可理解任何 3D 场景的开放词汇三维场景理解，通过使用 Segment Anything Model (SAM) 生成超点并通过 Recognize Anything Model (RAM) 的开放标签和操作表，结合超点和分割掩模生成最终的 3D 实例，经过对 ScanNet200 和 nuScenes 数据集的实证评估，我们的方法在未知的开放世界环境中超越了现有的开放词汇方法。

    May, 2024

  • OpenScene: 利用开放式词汇的 3D 场景理解

    使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

    Nov, 2022

  • OpenIns3D：3D 开放词汇实例分割的捕捉与查询

    OpenIns3D 是一个不需要 2D 图像输入的用于实例级别的三维开放词汇场景理解的全新框架，通过 Mask-Snap-Lookup 方案实现，能够在室内和室外的广泛数据集上取得优越的结果，并支持无需重新训练即可切换 2D 检测器的功能。

    Sep, 2023

  • 激光雷达点的自动词汇分割

    自动驾驶中现有的感知方法无法识别训练数据中未覆盖的未知实体。开放词汇方法能够检测任何目标，但受限于用户指定的查询代表目标类别。我们提出了 AutoVoc3D，一种用于自动目标类别识别和开放式分割的框架。在 nuScenes 中的评估显示了 AutoVoc3D 生成精确的语义类别和准确的逐点分割的能力。此外，我们引入了一种新的度量方法 Text-Point 语义相似性，用于评估文本和点云之间的语义相似性，而不排除新的类别。

    Jun, 2024

  • OpenAnnotate3D：多模式三维数据开放词汇自动标注系统

    在大数据和大型模型的时代，用于自动标注多模态数据的功能对于自动驾驶和具身化人工智能等实际应用具有重要意义。本文介绍了 OpenAnnotate3D，一种开源开词汇库自动标注系统，可以为视觉和点云数据自动生成 2D 掩模、3D 掩模和 3D 边界框标注，并整合了大型语言模型的思维链和视觉 - 语言模型的跨模态能力，旨在改善标注效率并提供准确的开词汇库自动标注结果。

    Oct, 2023