基于激光雷达点云辅助的单目三维物体检测
提升单目深度学习算法中对于三维场景物体检测的表现,通过伪 LIDAR 点云实现与 LIDAR 算法的融合,最终在 KITTI 基准测试中取得了最优结果。
Mar, 2019
提出了一种结合单目和基于点云的三维检测的平衡方法,使用低成本、低分辨率的传感器获取仅有 512 个点,然后将这有限的三维信息与单张图像结合重建完整的三维点云,通过与多模态现成的三维检测器结合使用,使得三维检测的准确率相比于最新的单目检测方法提高了 20%,相对于基准多模态方法在 KITTI 和 JackRabbot 数据集上提高了 6% 到 9%。
Apr, 2024
无人驾驶车辆中的目标检测与跟踪任务主要依靠相机和 LiDAR 等多种传感器,本研究在使用 LiDAR 点云的新编码方式基础上,通过推断自动驾驶车辆附近不同类别物体的位置,实现了对场景中物体位置和方向的预测。
Dec, 2023
本文介绍了一种采用弱监督学习的单目三维目标检测方法,该方法利用生成的二维框选择对应的区域兴趣 LiDAR 点作为弱监督信号,并通过网络预测可以紧密对齐相应区域兴趣 LiDAR 点的三维框,从而消除了对三维框标注的依赖。
Mar, 2022
本文介绍了一种称之为 DD3D 的单阶段,端对端的单目 3D 对象检测器,能够借助深度预训练提升准确性并解决如伪激光雷达方法的限制,通过深度估计和三维检测之间的有效信息传输,在大规模无标记数据的帮助下,达到了 KITTI-3D 基准测试中的 16.34%和 9.28%AP 的最新结果,以及在 NuScenes 中的 41.5%mAP。
Aug, 2021
提出了一种基于多视角和弱标签的纯 RGB 序列的自监督 3D 物体检测方法,其在 KITTI 3D 数据集上的性能与使用激光雷达或立体图像的最先进的自监督方法相当。
May, 2023
本文提出了一种适用于单目三维目标检测的新型基于物体的体素表示法,能够有效地组织噪点云在体素网格内,并能够精确定位对象在三维空间中的位置。通过考虑三维物体与相关二维框之间的关系,我们将单目三维目标检测中的置信度机制进行了分解,并在 KITTI 数据集上进行了评估,性能显著优于现有技术。
Apr, 2021
通过利用 LiDAR 数据辅助进行无监督的二维对象检测,同时采用基于 3D 点云和 2D 图像特征的迭代分割标签网络对候选对象进行标签生成和训练,从而解决了之前存在的问题,得到了较为合理的检测结果。
Nov, 2020
本文提出了一种新颖的半监督主动学习 (SSAL) 框架,用于配备了激光雷达的单目 3D 物体检测,利用了模型开发过程中所收集的所有数据的多模态。通过利用激光雷达来指导单目 3D 检测器的数据选择和训练,不在推理阶段引入任何开销,并采用半监督学习中的激光雷达教师,单目学生交叉模态框架,用于从未标记数据中蒸馏信息作为伪标签,以处理传播噪声等问题。文中也给出了用于选择需标记样本的传感器一致性基础选择评分的解决方案,同时也符合训练目标。本文在 KITTI 和 Waymo 数据集上广泛实验,验证了所提出方法的有效性。具体来说,所提出的选择策略在成本节省方面始终优于现有主动学习基线,在标签成本上节约了高达 17% 的成本;训练策略在 KITTI 3D 和 BEV 单目物体检测官方基准中获得了最佳成绩,将 BEV 平均精度提高了 2.02。
Jul, 2023
本文提出了一种自动驾驶中单目三维物体检测框架,着重解决了二维图像数据的不足,通过将输入数据从二维图像平面转换为三维点云空间进行处理,并使用 PointNet 网络进行三维检测,以提高点云的辨别能力,同时利用多模态融合模块将 RGB 颜色信息融入点云表示,证明了在三维空间中推断三维包围盒比在二维图像平面中更加有效,经过在 KITTI 数据集上的评估,该方法的表现超过现有最新的单目方法。
Mar, 2019