Jun, 2024

合作式新颖物体发现与基于盒子引导的跨模态对齐在开放词汇 3D 物体检测中的应用

PDF
TL;DRCoDAv2 是一个统一的框架，用于创新性地解决有限基本类别条件下的新型 3D 物体的定位和分类问题，其中使用 3D 几何和 2D 开放词汇语义先验来发现训练期间新型物体的伪标签以及通过 3D 点云和 2D / 文本模态之间的特征对齐来提升分类准确性。
open-vocabulary 3d object detectioncodav23d novel object discoverydiscovery-driven cross-modal alignmentclassification
发现论文，激发创造
  • CoDA: 协作式创新箱发现与开放式词汇 3D 物体检测的交叉模态对齐

    通过统一的框架，在有限的基础类别的条件下，本论文旨在同时解决定位和分类新颖目标的两个问题，提出了一种有效的 3D 新目标发现策略以及基于发现的新目标的跨模态对齐模块，通过迭代增强的对齐来统一实现了开放词汇 3D 目标检测的既定框架。

    Oct, 2023

  • 通过合作的基础模型增强新颖物体检测

    我们提出了一种新颖的方法将现有的闭集检测器转化为开集检测器，并通过将 CLIP、SAM 和 GDINO 等模型进行协同来建立新的目标检测性能基准，实现对新颖对象和已知对象的准确检测。

    Nov, 2023

  • 无需三维注释的开放词汇点云物体检测

    本文探讨了通过分治策略进行开放式词汇 3D 点云检测的方法，该方法使用图像预训练模型来学习定位各种对象，并连接文本和点云表示，以便根据提示文本对新对象类别进行分类，从而实现开放式词汇 3D 目标检测，同时在 ScanNet 和 SUN RGB-D 数据集上实现了显著的性能提升。

    Apr, 2023

  • 基于图像级别分类和去偏置交叉模态对比学习的开放词汇三维检测

    OV-3DETIC 是一个开放式词汇的 3D 点云检测器，使用基于图像的分类监督，并利用伪标签和实现跨模态对比学习方法从 ImageNet1K 扩展了其单词表，从而使点云检测器具有实现开放式词汇检测的能力，并实现了至少 10.77% 的 mAP 绝对值改进。

    Jul, 2022

  • 在城市环境中的开放词汇三维物体检测

    通过开放式词汇学习、视觉语言模型和远程模拟器，我们解决了当前基于激光雷达的 3D 物体检测系统的局限性，实现了对新颖对象的高效检测和识别。

    Mar, 2024

  • Object2Scene：为开放词汇的 3D 检测将对象放入上下文中

    Object2Scene 和 L3Det 是用于开放词汇 3D 物体检测的首个方法，通过引入大规模的 3D 物体数据集，将物体插入到 3D 场景中来丰富 3D 场景数据集的词汇，并在不同数据集的 3D 对象之间缓解领域差异，并证实了其在 OV-ScanNet-200 基准测试中的有效性。

    Sep, 2023

  • 面向开放集合相机三维物体检测

    通过提出的 OS-Det3D 框架，利用特定训练的 3D 物体发现网络（ODN3D）和联合目标性选择（JOS）模块，提高相机 3D 检测器在鉴别已知和未知对象方面的能力，并在 nuScenes 和 KITTI 数据集上进行实验证明了该框架的有效性。

    Jun, 2024

  • CMDA：基于 LiDAR 的三维物体检测的跨模态和领域对抗适应

    通过引入一种名为 CMDA 的新型无监督领域适应方法，利用图像模态（即相机图像）中的视觉语义线索作为一种有效的语义桥梁来缩小跨模态鸟瞰图表示的领域差距，并采用对抗性自我训练策略，使模型生成具有领域不变性的特征，从而为新的数据分布提供高度信息化和领域自适应的 3D 目标检测模型。在包括 nuScenes、Waymo 和 KITTI 在内的大规模基准测试中，以上所述方法为无监督领域适应任务带来了显著的性能提升，并达到了最先进的性能水平。

    Mar, 2024

  • OV9D：开放词汇类别级别 9D 物体姿态和尺寸估计

    研究一种新的开放问题，即开放词汇类别级别的对象姿态和尺寸估计。介绍了一个基于预训练模型构建的框架，利用大规模数据集进行训练，并在各种文本描述的情况下实现了广泛推广。

    Mar, 2024

  • CoDet：开放词汇目标检测的共现导向区域 - 词对齐

    利用共现对象发现的方法，CoDet 克服了对预对齐视觉 - 语言空间依赖的限制，通过图像标题中提及共享概念的图像分组，发现并与共享概念对齐共现对象，从而实现了对象级别的视觉 - 语言表示，具有卓越的性能和可扩展性。

    Oct, 2023