OV-Uni3DETR: 基于循环模态传播的统一开放词汇 3D 物体检测

Mar, 2024

OV-Uni3DETR: 基于循环模态传播的统一开放词汇 3D 物体检测

OV-Uni3DETR: Towards Unified Open-Vocabulary 3D Object Detection via Cycle-Modality Propagation

Zhenyu Wang, Yali Li, Taichi Liu, Hengshuang Zhao, Shengjin Wang

TL;DROV-Uni3DETR 是一种统一的开放词汇 3D 检测器，通过循环模态传播实现，具有开放词汇的 3D 检测、模态统一、场景统一的优势，并以超过 6％的性能优势超越了现有方法，在只使用 RGB 图像的情况下性能与以前的基于点云的方法相当甚至更好。

Abstract

In the current state of 3d object detection research, the severe scarcity of annotated 3D data, substantial disparities across different data modalities, and the absence of a unified architecture, have impeded the progress towards the goal of universality. In this paper, we propose \te

3d object detection ov-uni3detr open-vocabulary modality unifying scene unifying

发现论文，激发创造

基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

Jul, 2022

UniM-OV3D：使用细粒度特征表示的单模态开放词汇三维场景理解

本文提出了一种统一的多模态三维开放词汇场景理解网络 (UniM-OV3D)，通过对齐点云、图像、语言和深度信息，设计了一个分层点云特征提取模块并使用了层次化三维标题对来提高粗到细点云语义表示学习，实验结果表明我们的方法在室内外基准测试中实现了开放式语义和实例分割的最先进性能。

Jan, 2024

Uni3DETR: 统一的三维检测 Transformer

我们提出了 Uni3DETR，一个统一的 3D 检测器，他可以有效应对室内和室外 3D 检测的差异，并展现了在异构条件下的强大泛化能力。

Oct, 2023

Uni3D: 多数据集三维物体检测的统一基线

该论文研究了如何训练一个来自多个数据集的统一 3D 检测器，提出了一种名为 Uni3D 的方法来解决数据级别和分类学级别的差异，证明了该方法的有效性并对进一步的 3D 泛化研究具有启发意义。

Mar, 2023

使用 Transformer 实现 3D 物体检测的基于体素的统一表示

UVTR 提出了一种统一的框架，旨在提高单模或跨模 3D 检测的准确性和鲁棒性，通过设计模态特定空间，保留体素空间并开发不同传感器的输入，实现几何感知点云和图像的上下文特征的交互，从而在 nuScenes 测试集中获得了领先的性能。

Jun, 2022

UniMODE：统一单目三维物体检测

通过基于鸟瞰（BEV）检测范式的显式特征投影、经典 BEV 检测架构的拆分、不均匀的 BEV 网格设计、稀疏的 BEV 特征投影策略和统一的域对齐方法等技术，派生出了统一的检测器 UniMODE，其在挑战性的 Omni3D 数据集上超过了先前的最新技术，实现了首个 BEV 检测器对统一 3D 物体检测的成功推广。

Feb, 2024

在城市环境中的开放词汇三维物体检测

通过开放式词汇学习、视觉语言模型和远程模拟器，我们解决了当前基于激光雷达的 3D 物体检测系统的局限性，实现了对新颖对象的高效检测和识别。

Mar, 2024

CoDA: 协作式创新箱发现与开放式词汇 3D 物体检测的交叉模态对齐

通过统一的框架，在有限的基础类别的条件下，本论文旨在同时解决定位和分类新颖目标的两个问题，提出了一种有效的 3D 新目标发现策略以及基于发现的新目标的跨模态对齐模块，通过迭代增强的对齐来统一实现了开放词汇 3D 目标检测的既定框架。

Oct, 2023

面向开放集合相机三维物体检测

通过提出的 OS-Det3D 框架，利用特定训练的 3D 物体发现网络（ODN3D）和联合目标性选择（JOS）模块，提高相机 3D 检测器在鉴别已知和未知对象方面的能力，并在 nuScenes 和 KITTI 数据集上进行实验证明了该框架的有效性。

Jun, 2024

UniTR: 统一高效的多模态 Transformer 用于鸟瞰表示

UniTR 是一种高效的多模态骨干网络，用于处理多传感器数据并实现准确可靠的自动驾驶系统的感知。它引入了一种模态不可知的转换编码器来处理不同的传感器数据，并通过视角不一致的传感器数据进行并行模态表示学习和自动跨模态交互，无需额外的融合步骤。它通过同时考虑语义丰富的 2D 透视图和几何感知的 3D 稀疏邻域关系，提出了一种新颖的多模态融合策略。在 nuScenes 评测上，UniTR 在 3D 目标检测方面取得了 + 1.1 NDS 的提高，在 BEV 地图分割方面取得了 + 12.0 mIoU 的提高，并具有较低的推理延迟。

Aug, 2023