本研究介绍了一种开放词汇的 3D 实例分割任务，使用零样本学习来提高模型在目标实例分割方面的泛化性，并设计了 OpenMask3D 方法，该方法使用预测的类别不可知的 3D 实例掩码来聚合每个掩码的特征，通过多视图融合和基于 CLIP 的图像嵌入来提高分割的性能。

Jun, 2023

本文介绍了一种基于语言指令的语义和几何感知的视觉语言学习框架，通过直接从 3D 点云生成语义相关的掩码，从而在 ScanNetv2、ScanNet200 和 Replica 基准测试中明显优于现有方法，且结果接近全监督对照组，尽管训练数据中缺乏类别标注。

Apr, 2024

我们提出了一种名为 Open-YOLO 3D 的快速而准确的开放词汇 3D 实例分割方法，在多视角 RGB 图像中有效利用仅 2D 对象检测进行开放词汇 3D 实例分割，并通过生成类无关的 3D 掩码并与文本提示相关联来处理此任务。我们的 Open-YOLO 3D 在两个基准测试集 ScanNet200 和 Replica 上实现了最先进的性能，在与文献中最佳方法相比速度提高了多达 16 倍。

Jun, 2024

OpenIns3D 是一个不需要 2D 图像输入的用于实例级别的三维开放词汇场景理解的全新框架，通过 Mask-Snap-Lookup 方案实现，能够在室内和室外的广泛数据集上取得优越的结果，并支持无需重新训练即可切换 2D 检测器的功能。

Sep, 2023

我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明，我们的方法显著优于强基准模型。

Jan, 2024

本研究提出和研究了一项新的计算机视觉任务，名为 OpenVIS，该任务旨在根据对应的文本描述同时分割，检测和跟踪视频中的任意对象。通过开放词汇的设计，OpenVIS 可以识别所需类别的对象，而不管这些类别是否包括在训练数据集中。为了实现这一目标，本文提出了一个由两个阶段组成的流程，首先利用基于查询的蒙版提议网络生成所有潜在对象的蒙版，并通过预先训练的 VLM 预测其对应的类别，其次通过提议后处理方法更好地适应预训练的 VLMs，以避免扭曲和不自然的提议输入。

May, 2023

本文研究了一项新任务，称为二元图像分割（DIS），目的是从自然图像中高精度地分割对象。我们收集了第一个大规模的 DIS 数据集，称为 DIS5K，包含 5470 个高分辨率图像，并使用极细粒度标签进行了注释。我们提出了一个简单的中间监督基线（IS-Net），用于 DIS 模型训练，并介绍了一个新的度量标准（HCE），用于衡量模型与实际应用之间的差距。最后，我们进行了最大规模的基准测试，评估 16 个代表性的分割模型，并展示了几个潜在的应用领域。

Mar, 2022

本文介绍了一种新型的神经网络体系结构：3D-SIS，用于在商品 RGB-D 扫描中进行三维语义实例分割。它结合了几何和颜色信号的联合学习，从而实现了精确的实例预测。该网络利用了高分辨率 RGB 输入和多视角 RGB-D 输入，并在 3D 重建的姿态对准的基础上将 2D 图像与体积网格相结合，实现了 2D 和 3D 特征学习组合，从而达到了超过 13 的 mAP 改进。

Dec, 2018

使用轴对齐的 3D 边界框监督，提出 GaPro，一种新的用于 3D 点云的实例分割方法，通过生成伪标签和训练 3DIS 网络来解决 3DIS 问题，并通过自学习策略进一步提高性能。

Jul, 2023

通过多视角观察实现全局蒙版图构建和聚类，用于 3D 实例分割，并利用 2D 蒙版预测的先验实例知识，消除对 3D 数据的训练需求，实现开放词汇的实例分割和无类别蒙版生成的最新成果。

Jan, 2024