通过在点云上模拟多模态来增强三维物体检测
提出了一种结合单目和基于点云的三维检测的平衡方法,使用低成本、低分辨率的传感器获取仅有 512 个点,然后将这有限的三维信息与单张图像结合重建完整的三维点云,通过与多模态现成的三维检测器结合使用,使得三维检测的准确率相比于最新的单目检测方法提高了 20%,相对于基准多模态方法在 KITTI 和 JackRabbot 数据集上提高了 6% 到 9%。
Apr, 2024
通过跨模态幻觉实现稳健的点云三维物体检测的新框架,结合空间和特征的多次对齐以实现骨干网络的细化和幻觉生成,提出了空间对齐和特征对齐的步骤以处理几何差异和感知模态间的属性差距,通过单模态数据进行推断阶段的输入,实现更好的困难检测和高效率的检测。在 View-of-Delft (VoD) 数据集上的广泛实验表明,该方法在雷达和 LiDAR 物体检测上优于最先进的方法,同时保持了竞争性的运行效率。
Sep, 2023
通过无缝融合 RGB 传感器到 Lidar 的 3D 识别中,我们提出了一个简单而有效的多模态检测器,该方法利用一组 2D 检测生成密集的虚拟 3D 点,能够增强原来稀疏的 3D 点云,实验结果在大规模 nuScenes 数据集上取得了显着的改进,并超过了竞争融合方法。
Nov, 2021
自动驾驶中的 LiDAR 数据集存在诸如点云密度、范围和物体尺寸等属性偏差,因此在不同环境中训练和评估的物体检测网络往往会遇到性能下降的问题。为了解决这个问题,域自适应方法假设可以获取来自测试分布的未标注样本。但是,在实际世界中,部署条件和获得代表测试数据集的样本可能无法获得。我们认为,更现实和具有挑战性的形式是要求对未知目标域具有性能的鲁棒性。我们提出了一种双重方式来解决这个问题。首先,我们利用大多数自动驾驶数据集中存在的配对的 LiDAR - 图像数据进行多模态物体检测。我们建议通过利用图像和 LiDAR 点云的多模态特征来进行场景理解任务,从而使得物体检测器对未知域的转换更加鲁棒。其次,我们训练一个 3D 物体检测器,在不同分布之间学习多模态物体特征,并促进这些源域之间的特征不变性,以提高对未知目标域的泛化性能。为此,我们提出了 CLIX$^ ext {3D}$,它是一个用于 3D 物体检测的多模态融合和有监督对比学习框架,它在对不同数据集转换下实现了最先进的域泛化性能。
Apr, 2024
提升单目深度学习算法中对于三维场景物体检测的表现,通过伪 LIDAR 点云实现与 LIDAR 算法的融合,最终在 KITTI 基准测试中取得了最优结果。
Mar, 2019
通过使用 LiDAR 传感器和场景语义,我们提供了一种新的仅依靠 LiDAR 传感器的增强型原始扫描的稠密伪点云框架,无需摄像机,该框架首先利用分割模型从原始点云中提取场景语义,然后使用多模态的域转换器生成伪图像分割和深度提示,从而生成一种富含语义信息的稠密伪点云,并通过引入新的语义引导投影方法增强检测性能。
Sep, 2023
本文通过数据角度分析了现有的 LiDAR 3D 目标检测算法尤其是对于离传感器较远区域性能欠佳的问题,发现检测模型中存在对密集物体的学习偏差,提出了一种基于模型无关的点云密度调整预处理机制,使用迭代 MCMC 优化估计不同距离范围内点密度的最优参数,实验证明这种技术可以提高现有检测器的性能。
Jun, 2023
本研究提出了一种基于 Cross-Modality Knowledge Distillation (CMKD) 的半监督训练框架,通过跨模态知识蒸馏能够从大规模未标记数据中有效传输 LiDAR 模态到图像模态的知识,从而显著提高单目三维检测性能,使得该方法在 KITTI 测试集和 Waymo 验证集上的表现明显优于先前最先进的方法。
Nov, 2022
该论文提出了一种基于特征的深度学习模型选择框架,利用多种深度学习方法以及两种人工技术生成的伪缺失训练数据创建各种深度学习模型,以针对实际环境中获取的点云数据特征选择最合适的深度学习模型进行目标检测任务,证实了根据实际情况选择适当的深度学习模型的重要性。
Sep, 2022
通过训练基于多视角鸟瞰图(BEV)的学生检测器来模仿经过训练的基于 LiDAR 的教师检测器的特征,从而提高多视角 BEV 的表示学习,并通过有效的平衡策略和多尺度层的时间融合实现知识传输,实验证明该方法在多个多视角 BEV 模型上显著改善了学生模型,达到了流行基准 nuScenes 的最新性能。
Sep, 2023