EPNet: 基于图像语义增强的点特征三维物体检测
本文提出了一种名为 EPNet++ 的多模态 3D 物体检测方法,通过引入级联的双向融合 (CB-Fusion) 模块和多模态一致性 (MC) 损失,将 LiDAR 点云和相机图像进行融合,产生更强大和有区分度的特征表示,从而明显超过现有的最新技术方法。
Dec, 2021
VPFNet 是一种新的网络架构,通过虚拟点 cleverly aligns and aggregates the point cloud and image data 来解决 3D 点云和图像数据之间的不匹配问题,同时利用数据增强技术来提高 3D 目标检测的性能。在 KITTI 数据集上的实验中,在保证计算效率的情况下,VPFNet 取得了很好的性能表现。
Nov, 2021
使用 LIADAR 进行三维物体检测时,由于点云密度不均衡,距离传感器更远的物体采集的点较少,导致检测精度下降。为解决这一挑战,作者提出了名为 SIENet 的二阶段三维物体检测框架,其中设计了空间信息增强模块和多分支的混合范式区域提案网络 (HP-RPN) 等,其在 KITTI 三维物体检测基准测试数据集上取得了远超其他方法的显著性能表现。
Mar, 2021
使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法,其中 CNN 和 PointNet 网络分别处理图像和点云数据,再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度,相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。
Nov, 2017
本研究通过设计一个新的两流全卷积网络,提出了一个联合学习方法来同时处理 3D 语义分割和 3D 语义边缘检测问题,特别是设计了一个联合调优模块来明确地连接区域信息和边缘信息,通过提出的新型损失函数,实现了更好的语义分割结果的同时改善边缘信息,结果显示该方法在 S3DIS 和 ScanNet 数据集上获得了与最先进方法相当或更好的性能,优于语义边缘检测的基准方法。
Jul, 2020
本文提出了一种名为 SPNet 的新型语义传递框架,它使用丰富的上下文绘制来提高现有基于 lidar 的 3D 检测模型的性能,通过知识传递模块在不同的粒度上指导纯 lidar 网络学习经过语义渲染的表示,可以与大多数现有的 3D 检测框架无缝协作,在 KITTI 测试基准上甚至实现了新的 3D 检测性能最佳水平。
Jul, 2022
本文探讨了利用深度学习在 3D 物体检测中,针对使用 RGB-D 数据在室内和室外场景下进行点云识别所面临的挑战以及如何提高效率。通过利用成熟的 2D 物体检测器和先进的 3D 深度学习来提高区域建议与对象本地化的精度,以取得高回收甚至小目标检测的良好性能。在 KITTI 和 SUN RGB-D 3D 检测基准上进行了评估,相比现有技术取得了显著的大幅度升级,并具有实时性能。
Nov, 2017
本文提出了一种将图像数据与 LiDAR 数据融合的方法,并展示了这种传感器融合方法在长距离检测表现方面提高了模型检测能力。此外,文中还扩展了模型的功能,使其能够进行 3D 语义分割,并在大型基准数据集上展示了我们的方法在保持低运行时间的同时,在目标检测和语义分割方面实现了最先进的性能。
Apr, 2019
本文介绍了 MVPNet 模型,该模型使用视图选择和 2D-3D 特征聚合模块将 2D 多视图图像特征汇集到 3D 点云中,并使用基于点的网络将 3D 规范空间中的特征融合以预测 3D 语义标签。该方法在 3D 语义分割任务上,优于以前的点云方法,并且训练速度比稀疏体素方法的大型网络快得多。
Sep, 2019
本研究提出了一种名为 I2PNet 的新型端对端 2D-3D 注册网络,该网络能够精确定位机器人并在相机 - LiDAR 在线校准方面表现出色。
Jun, 2023