Oct, 2023

基于特征的位姿估计中的深度图像和点云转换

PDF
TL;DR通过消除噪音并将深度数据转换为图像，本文提出了一种新方法，可以显示传统深度图像中隐藏的空间细节，从而在深度数据和经典计算机视觉之间架起了桥梁，并在可视航位推测和 RGB-D SLAM 任务中取得了更好的结果。
depth sensorssensor registrationdepth datavisual odometrycomputer vision
发现论文，激发创造
  • 通过点云的监督学习实现 6D 物体姿态回归

    本文提出了一种利用点云深度信息并结合卷积神经网络和几何姿态优化，分别使用旋转和平移回归网络的方法来估算已知 3D 物体的 6 自由度姿态，其中通过旋转轴角表示旋转并使用测地线损失函数进行回归，实验结果在 YCB-video 数据集上明显优于现有方法。

    Jan, 2020

  • 单图像深度预测使特征匹配更易

    本论文提出了一种有效提取局部特征的方法，使用基于 CNN 的深度图像，对图像进行预处理和透视校正，以增强 SIFT 和 BRISK 特征的匹配，从而提高 3D 重新定位和多视角重建的鲁棒性。

    Aug, 2020

  • FreeReg: 集成预训练扩散模型和单目深度估计的图像到点云注册

    图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

    Oct, 2023

  • 基于视觉惯性 SLAM 的深度估计

    本文研究了利用 VI-SLAM 系统从稀疏深度点云与室内场景图片中学习场景深度完成的问题，特别地，本文使用预训练的表面法向网络结合利用可用的重力估计来修正输入图像的视角限制，从而提高了表面法向估计和深度完成精度。最后，本文在 ScanNet、NYUv2 和 Azure Kinect 数据集上展示了我们的方法超越了其他最先进的方法。

    Jul, 2020

  • ModaLink: 图像到点云的高效场景识别

    通过引入快速轻量级的框架，将图像和点云转换成具有地点鉴别性的描述符。实验结果表明，所提出的方法在实时执行的同时达到了最先进的性能，具有实际的泛化能力。

    Mar, 2024

  • 通过线条解析几何形状：带有部分激光观察的单目深度估计

    该论文提出一种在机器人应用中提高单目深度估计精度的方法，通过残差神经网络，以 2D 激光测距仪的观察为基础，结合分类和回归损失进行连续深度估计，在障碍物避免中具有潜在的应用价值。

    Oct, 2016

  • PointFusion：用于 3D 边界框估计的深度传感器融合

    使用 PointFusion 实现基于图像和点云信息的 3D 对象检测方法，其中 CNN 和 PointNet 网络分别处理图像和点云数据，再由新型融合网络将二者输出结合起来预测多个 3D 框及其置信度，相比现有方法在 KITTI 和 SUN-RGBD 数据集上实现更好的检测结果且无需特定模型调整。

    Nov, 2017

  • 鲁棒性一致的视频深度估计

    本文提出了一种用于估计一致密集深度图和相机姿态的算法，该算法基于学习的深度先验和几何优化相结合，不需要输入相机姿态，并能够在包括噪声、抖动、运动模糊和卷帘快门失真等多种挑战性条件下实现稳健的重建。

    Dec, 2020

  • 室内单张图像深度估计中不同特征的贡献

    通过在室内场景数据集中使用特征提取技术，本研究量化了单一形状、纹理、颜色和饱和度等因素对深度估计的相对贡献，发现边缘检测提取的物体形状在室内环境中的贡献显著大于其他因素，而其他特征也有不同程度的贡献。这些洞察将有助于优化深度估计模型，提高其准确性和鲁棒性，并扩大基于视觉的深度估计的实际应用。

    Nov, 2023

  • OmniFusion: 基于几何感知融合的 360 单目深度估计

    本篇论文提出了一种名为 OmniFusion 的 360 单目深度估计流程，通过将 360 图像转换为切线图像并采用 CNN 进行分段预测，最后合并分段结果以处理球形畸变问题，并通过几何感知特征融合机制、自注意力变换架构和迭代深度细化机制处理分段预测不一致问题，成功的在多个 360 单目深度估计基准数据集上取得了最先进的性能。

    Mar, 2022