Mar, 2021

体积传播网络：基于双目 - LiDAR 融合的远程深度估计

PDF
TL;DR本文提出了一种几何感知的立体 - LiDAR 融合网络，通过在三维空间中统一传入稀疏而准确的点云系作为指导进行对应，借鉴 2D 图像领域的语义和 3D 领域的几何关系辅助于点云的特征提取，进而成功的融合了两种不同的输入方式并回归出一个长距离深度图。 该网络可用于 KITTI 和 Virtual-KITTI 数据集的立体 - LiDAR 融合任务中，取得了最先进的性能表现。
stereo-lidar fusionvolumetric propagation networklong-range depth estimationpoint cloudsfusionconv
发现论文，激发创造
  • 具有可变传播和学习的视差深度转换的立体 LiDAR 深度估计

    使用立体相机和激光雷达进行精确而密集的深度估计是自动驾驶和机器人感知的重要任务。我们提出了一种名为 SDG-Depth 的新型立体 - 激光雷达深度估计网络，通过半密集提示引导来改善稀疏激光雷达点对于立体匹配中的代价聚合的限制。我们的方法既准确又高效，基准测试的实验结果表明其出色的性能。

    Apr, 2024

  • 利用稀疏深度测量与立体匹配融合实时稠密深度估计

    本研究提出了一种深度估计方法，利用来自双目立体视觉和稀疏激光雷达或深度相机的测量信息。通过融合各传感器的优势，即精确但稀疏的测量信息和模糊但密集的立体信息，并采用各向异性扩散和半全局匹配技术进行有效地融合。该方法在 KITTI 2015 和 Middlebury 2014 数据集上评估，表现显著，而且使用 PMDTec Monstar 传感器提供了定量结果。

    Sep, 2018

  • 轻量级三维点融合提高单目深度估计

    本文提出一种增强单眼深度估计的方法，该方法采用 3D 点作为深度指导，并引入一种轻量级、高效的多尺度 3D 点融合网络，能够处理极其稀疏和不均匀分布的点云，实现了高精度深度估计。该方法优于当前一些基于深度学习的多视角立体和结构从运动方法，不仅精度更高，而且压缩性更好。

    Dec, 2020

  • Pseudo-LiDAR++: 自动驾驶中三维物体探测的准确深度

    本文提出一种基于伪激光雷达（pseudo-LiDAR）的物体三维检测方法，通过改进其立体深度估计的网络结构和损失函数，以及通过利用稀疏的廉价激光雷达传感器的测量结果来传播深度估计值，从而实现对目标的准确检测。在 KITTI 数据集上的实验表明，该方法相比现有方法在远处物体检测精度上有 40% 以上的提升。

    Jun, 2019

  • VolumeFusion：基于深度学习的三维场景重建深度融合技术

    本文介绍了一种利用深度神经网络复制传统的 local depth maps calculation 和 global depth maps fusion 两步骤框架，以改善对 3D 场景重建精度和可解释性的计算机视觉任务方法。此外，作者还提出了一种称为 PosedConv 的旋转不变的 3D 卷积核，用于提高从非常不同视角获取的图像之间的匹配效率。作者在 ScanNet 数据集上进行了大量实验证明提出的方法在深度神经网络和传统计算机视觉技术中具有竞争力。

    Aug, 2021

  • VPFNet: 采用虚拟基于点的 LiDAR 和立体数据融合来提高三维物体检测

    VPFNet 是一种新的网络架构，通过虚拟点 cleverly aligns and aggregates the point cloud and image data 来解决 3D 点云和图像数据之间的不匹配问题，同时利用数据增强技术来提高 3D 目标检测的性能。在 KITTI 数据集上的实验中，在保证计算效率的情况下，VPFNet 取得了很好的性能表现。

    Nov, 2021

  • 利用有条件代价体积标准化的立体匹配网络融合 3D LiDAR 和立体视觉

    提出了一种利用 LiDAR 和立体相机实现深度感知的方法，该方法基于立体匹配神经网络，引入输入融合和条件成本体积规范化技术，实现了两种传感器信息的有效融合，实验结果表明，该方法在多个融合策略中表现优异，而且在计算时间和模型大小方面增加的开销较小。

    Apr, 2019

  • V-FUSE：长程约束下的体素深度图融合

    我们介绍了一个基于学习的深度图融合框架，它接受多视点立体匹配算法生成的深度和置信图集合作为输入并对其进行改进。这通过将编码不同视图之间的远程表面关系的体积可见性约束集成到端到端可训练的架构中来实现。同时，我们还引入了一个深度搜索窗口估计子网络与更大的融合子网络联合训练，以减少每条射线上的深度假设搜索空间。我们的方法通过直接从数据中学习建模深度一致性和可见性约束的违规，从而有效地消除了微调融合参数的必要性。在多视点立体匹配数据集上进行了大量实验证明，输出融合深度和置信图的准确性有了显著提升。

    Aug, 2023

  • PLUMENet：基于立体图像的高效 3D 物体检测

    本文提出了一种利用立体照相机生成 3D 物体点云，并将深度估计和物体检测任务以同一度量空间进行统一的方法，其性能优于现有方法，具有更快的推理时间。

    Jan, 2021

  • 单目图像和稀疏雷达数据的深度估计

    利用深度神经网络，通过融合单眼图像和雷达数据点，探索实现更准确的深度估计。我们对来自不同角度的 RGB 图像和雷达测量的融合进行了全面的研究，并提出了一种基于观察结果的有效解决方案。在 nuScenes 数据集上的实验表明，我们的方法优于现有的融合方法，同时我们还提供了详细的剖析研究以展示我们的方法中各组成部分的有效性。

    Sep, 2020