接近外部:从2D场景扩展无监督的3D物体检测
采用热点及其空间关系的方式,提出适用于稀疏数据的3D物体检测方法,并在KITTI 3D检测基准测试中获得第一名,以及在NuScenes 3D检测基准测试中取得了最新的性能。
Dec, 2019
本文提出了一种基于稀疏LSTM的多帧 3D 对象检测算法,使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征,并将这些特征与上一帧的隐藏和记忆特征一起输入到LSTM模块中,以预测当前帧中的 3D 对象,同时传递给下一帧的隐藏和记忆特征。实验结果表明,我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5% [email protected] 和其他多帧方法 1.2% 。据我们所知,这是在稀疏点云中首次使用LSTM进行 3D 对象检测的工作。
Jul, 2020
通过利用 LiDAR 数据辅助进行无监督的二维对象检测,同时采用基于 3D 点云和 2D 图像特征的迭代分割标签网络对候选对象进行标签生成和训练,从而解决了之前存在的问题,得到了较为合理的检测结果。
Nov, 2020
本文提出了一种高效的基于点云的3D检测器IA-SSD,利用可学习的面向任务的实例感知下采样策略分层选择感兴趣物体的前景点,进一步估计精确的实例中心,并采用仅编码器架构实现。大规模检测基准测试表明,该模型具有卓越的速度性能,能够以80个以上的速度在KITTI数据集上进行实时检测。
Mar, 2022
通过稀疏编码器与稀疏实例识别(SIR)模块,提出了一种全稀疏三维目标检测器(FSD),该方法可以在自动驾驶的远距离感知任务中实现高效的检测,具有状态-of-the-art性能并且比密集对应物快2.4倍。
Jul, 2022
我们研究在自动驾驶场景中从3D点云中进行无监督对象检测的问题,提出了一种简单而有效的方法,利用点聚类、时间一致性、CNN的平移等性质以及自我监督来改进无监督检测算法,通过在非相近区域进行自动标记扩展到远距离,从而实现了零-shot方式的对象检测,能够在稀疏、远距离区域进行检测,同时在更多迭代自我训练的过程中不断改进。我们提出了基于碰撞距离的新的规划感知度量来更好地衡量模型在自动驾驶场景中的性能。我们在PandaSet和Argoverse 2 Sensor数据集上展示了我们的无监督对象检测器显著优于无监督基线的性能,证明了自我监督与对象先验相结合可以实现野外对象发现的潜力。
Nov, 2023
提出了基于LiDAR的开放词汇检测的先进2D-3D建模框架OpenSight,通过生成2D边框并将其与LiDAR点云转换为对应的3D边框,增强了通用对象感知能力,并通过交叉模态对齐和融合进行特定语义解码,从而在广泛应用的3D检测基准上建立了最先进的开放词汇性能,并有效识别感兴趣的新类别对象。
Dec, 2023
通过SpotNet方法,结合LiDAR传感器融合2D和3D检测任务,实现稀疏LiDAR支持下准确的远距离3D目标检测,并且能够在不重新训练的情况下将检测结果从2MP分辨率图像转移到8MP分辨率图像上。
May, 2024
通过使用与图像相关的shelf-supervision模型对配对的RGB和LiDAR数据进行无监督预训练,我们提出了一种能够生成零样本3D边界框的点云表示方法,这种方法在半监督检测中能够显著提高检测准确性,尤其适用于LiDAR-only和多模态(RGB + LiDAR)检测。我们在nuScenes和WOD上展示了我们方法的有效性,并在有限数据环境中明显改进了之前的工作。
Jun, 2024
本研究针对激光雷达点云中3D目标检测面临的标签不足问题,提出了一种全新的无监督检测方法,利用视觉-语言信息指导目标分类。通过挖掘激光雷达点云的时空信息,研究显示该方法在Waymo开放数据集和Argoverse 2上分别提升了23和7.9的AP3D,标志着领域内的重要进展。
Aug, 2024