全稀疏三维物体检测
本文提出了一种基于稀疏LSTM的多帧 3D 对象检测算法,使用 U-Net 风格的稀疏 3D 卷积网络提取每帧 LiDAR 点云的特征,并将这些特征与上一帧的隐藏和记忆特征一起输入到LSTM模块中,以预测当前帧中的 3D 对象,同时传递给下一帧的隐藏和记忆特征。实验结果表明,我们的算法在使用更少的内存和每帧计算的情况下优于传统的逐帧方法 7.5% [email protected] 和其他多帧方法 1.2% 。据我们所知,这是在稀疏点云中首次使用LSTM进行 3D 对象检测的工作。
Jul, 2020
提出了一种基于点密度感知的体素网络(PDV)方法,通过使用核密度估计和具有点密度位置编码的自注意力,通过聚合体素特征来解决LiDAR的点密度变化对3D物体检测精度的影响。实验结果表明,PDV在Waymo开放数据集上优于所有最先进的方法,在KITTI数据集上取得了竞争性的结果。
Mar, 2022
本文提出了一种名为VoxelNext的基于稀疏体素特征的完全稀疏3D目标检测方法,通过少量的推断即可检测和跟踪3D目标,它具有良好的速度-精度折衷,且不需后续的稀疏转密集转换或NMS后处理。实验证明,该方法能够在nuScenes、Waymo和Argoverse2基准上显著提高检测效果。
Mar, 2023
提出了一种名为 LinK 的方法,通过使用线性卷积核生成器和重复利用重叠块中预先计算的聚合结果来扩展感受野,从而成功实现每个体素在 21x21x21 范围内感知上下文,并在三维物体检测和语义分割任务中取得了显着表现。
Mar, 2023
本文研究如何在全稀疏架构中有效利用图像模态,并利用实例查询将2D实例分割与3D实例分割部分并行集成到LiDAR侧,从而实现了统一的基于查询的2D和3D融合框架,同时保持全稀疏特性。广泛的实验证明了在广泛使用的nuScenes数据集和长距离Argoverse 2数据集上的最先进性能。值得注意的是,所提出的方法在长距离LiDAR感知设置下的推理速度比其他最先进的多模式3D检测方法快2.7倍。
Apr, 2023
该研究提出了一种基于稀疏表示的多传感器3D检测方法SparseFusion,利用LiDAR和相机模态的并行检测器输出作为稀疏候选,通过轻量级自注意力模块在一致的3D空间中融合多模态候选,实现了目前最先进的性能,并且运行速度最快。
Apr, 2023
我们的研究论文提出了一种利用LiDAR和图像相结合的方法来解决长距离3D物体检测的问题,通过组合两种不同范围的专家网络和引入Multimodal Virtual Points(MVP)进行数据增强,我们的方法在长距离上达到了最先进的性能。
Oct, 2023
提出了基于LiDAR的开放词汇检测的先进2D-3D建模框架OpenSight,通过生成2D边框并将其与LiDAR点云转换为对应的3D边框,增强了通用对象感知能力,并通过交叉模态对齐和融合进行特定语义解码,从而在广泛应用的3D检测基准上建立了最先进的开放词汇性能,并有效识别感兴趣的新类别对象。
Dec, 2023
提出了一种基于稀疏查询的SparseDet稀疏三维物体检测方法,通过局部多尺度特征聚合模块和全局特征聚合模块,完整地捕捉了上下文信息,提高了代理物体表达能力。实验结果在nuScenes和KITTI上验证了该方法的有效性。
Jun, 2024
该论文介绍一种新的LiDAR-2D自适应学习(LiSe)方法,通过融合LiDAR数据和2D图像,采用自适应采样和弱模型聚合策略,实现了在无监督的三维检测任务中对对象的准确检测,通过实验评估验证了LiSe方法的有效性。
Jul, 2024