无需三维注释的开放词汇点云物体检测

Apr, 2023

无需三维注释的开放词汇点云物体检测

Open-Vocabulary Point-Cloud Object Detection without 3D Annotation

Yuheng Lu, Chenfeng Xu, Xiaobao Wei, Xiaodong Xie, Masayoshi Tomizuka...

TL;DR本文探讨了通过分治策略进行开放式词汇 3D 点云检测的方法，该方法使用图像预训练模型来学习定位各种对象，并连接文本和点云表示，以便根据提示文本对新对象类别进行分类，从而实现开放式词汇 3D 目标检测，同时在 ScanNet 和 SUN RGB-D 数据集上实现了显著的性能提升。

Abstract

The goal of open-vocabulary detection is to identify novel objects based on arbitrary textual descriptions. In this paper, we address open-vocabulary 3D point-cloud detection by a dividing-and-conquering strategy, which involves: 1) developing a point-cloud detector that can learn a ge

open-vocabulary detection 3d point-cloud detection object classification image pre-trained models vision-language pre-trained models

发现论文，激发创造

基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

Jul, 2022

Object2Scene：为开放词汇的 3D 检测将对象放入上下文中

Object2Scene 和 L3Det 是用于开放词汇 3D 物体检测的首个方法，通过引入大规模的 3D 物体数据集，将物体插入到 3D 场景中来丰富 3D 场景数据集的词汇，并在不同数据集的 3D 对象之间缓解领域差异，并证实了其在 OV-ScanNet-200 基准测试中的有效性。

Sep, 2023

激光雷达点的自动词汇分割

自动驾驶中现有的感知方法无法识别训练数据中未覆盖的未知实体。开放词汇方法能够检测任何目标，但受限于用户指定的查询代表目标类别。我们提出了 AutoVoc3D，一种用于自动目标类别识别和开放式分割的框架。在 nuScenes 中的评估显示了 AutoVoc3D 生成精确的语义类别和准确的逐点分割的能力。此外，我们引入了一种新的度量方法 Text-Point 语义相似性，用于评估文本和点云之间的语义相似性，而不排除新的类别。

Jun, 2024

基于点云的弱监督三维物体检测

本文提出 VS3D，一个从点云中弱监督学习的 3D 目标检测框架，其中引入了无监督的 3D proposal 模块和跨模态知识蒸馏策略，在 KITTI 数据集上取得了优异的性能。

Jul, 2020

CoDA: 协作式创新箱发现与开放式词汇 3D 物体检测的交叉模态对齐

通过统一的框架，在有限的基础类别的条件下，本论文旨在同时解决定位和分类新颖目标的两个问题，提出了一种有效的 3D 新目标发现策略以及基于发现的新目标的跨模态对齐模块，通过迭代增强的对齐来统一实现了开放词汇 3D 目标检测的既定框架。

Oct, 2023

开放词汇目标检测的学习目标语言对齐

提出了一种使用自然语言监督学习从配对的图像文本数据中直接学习的新型开放词汇目标检测框架，通过将对象 - 语言对齐形式化为一个图像区域特征集合和一个词向量集合之间的集合匹配问题，可以更简单和有效地在图像 - 文本对上训练开放词汇对象探测器，并在两个基准数据集上进行了广泛的实验，在 LVIS 等新类别上实现了 32.0％的 mAP 和 21.7％的掩膜 mAP 等卓越性能。

Nov, 2022

自动驾驶的 3D 无监督学习：通过提炼 2D 开放词汇分割模型实现

提出了一种由 2D 开放词汇的分割模型辅助的新型三维无监督框架（UOV），通过学习未标注数据的点云表征，采用了两个阶段：首先，创新地结合了 2D 开放词汇模型的高质量文本和图像特征，提出了三模态对比预训练（TMP）；其次，利用点云和图像之间的空间映射生成伪标签，实现异态知识蒸馏。并引入了近似平面交互（AFI）来解决对齐噪声和标签混淆问题。在多个相关数据集上进行了大量实验证明了 UOV 的优越性，在 nuScenes 的无需标注的点云分割任务上，实现了创纪录的 47.73% 的 mIoU，超过了之前最好模型 10.70% 的 mIoU。同时，在 nuScenes 和 SemanticKITTI 上使用 1% 的数据进行微调，取得了显著的 51.75% 和 48.14% 的 mIoU，超过了所有之前的预训练模型。

May, 2024

OpenScene: 利用开放式词汇的 3D 场景理解

使用 OpenScene 和 zero-shot 方法，借助于 CLIP 特征空间将 3D 场景中的点嵌入到文本和图像像素中，以达到不确定性的训练和开放词汇量的查询场景的目的。

Nov, 2022

2D-3D 视觉 - 语言蒸馏的 3D 开放词汇全景分割

我们提出了一种新方法，通过学习 LiDAR 特征和固定的 CLIP 特征之间的融合来处理 3D 开放式词汇全景分割问题，并提出了两个新的损失函数：物体级蒸馏损失和体素级蒸馏损失。在 nuScenes 和 SemanticKITTI 数据集上的实验证明，我们的方法显著优于强基准模型。

Jan, 2024

使用伪字幕标签进行开放词汇物体检测

该研究提出了一种名为 Pseudo Caption Labeling（PCL）的简单而有效的方法，利用图像字幕模型生成对不同角度目标实例的描述，通过这些大量的数据样本进行知识提炼，以丰富目标的属性和关系等细节，从而提高模型的性能，实验表明该方法可以与任何图像字幕模型一起使用，不需要对模型架构或训练流程进行任何限制。

Mar, 2023