ECCVAug, 2022

通过学习多尺度局部线性变换改善 RGB-D 点云配准

PDF
TL;DR本文提出一种新的 Geometry-Aware Visual Feature Extractor (GAVE) 方法，通过利用 RGB-D 数据融合几何和视觉信息，进而实现更准确的点云对齐。通过多尺度局部线性变换来逐步将这两种模态融合，并在几何和视觉中产生新的可靠性关联，实现更好的点云精度匹配。
point cloud registrationcorrespondence estimationrgb-d datageometry-aware visual feature extractormulti-scale local linear transformation
发现论文，激发创造
  • 点树变换器用于点云配准

    点云配准中的局部和全局特征提取是一个常见问题。本文提出了一种名为 “Point Tree Transformer (PTT)” 的新型基于 Transformer 的方法，通过构建点云的层次特征树和引入一种新的点树注意力机制（PTA）来提取细粒度的局部和全局特征，从而有效地解决低相关性点引起的性能下降和计算复杂度过高的问题。实验证明，该方法在 3DMatch、ModelNet40 和 KITTI 数据集上取得了优越的性能。

    Jun, 2024

  • 基于 RGB-D 室内数据的深度学习三维实例分割

    通过将深度学习与 RGB-D 数据相结合，提出了一种用于高效 3D 实例分割的新方法，该方法通过点状渲染模块将 2D 区域卷积神经网络（Mask R-CNN）模型与深度信息集成，可以识别和分割对象的 3D 实例，实验证明该方法对于支持机器人和智能系统中的物体处理非常有益。

    Jun, 2024

  • 基于共形几何代数的无对应约束多矢量云配准

    我们首次提出了一种新的理论方法，用于解决共形几何代数中不需要对应关系的多矢量云配准问题。该方法通过构建一个超出典型向量空间的正交自同构，并保持多矢量分级，实现了注册。我们将展示该方法能够在不直接访问输入多矢量的情况下进行注册，而是使用由共形模型提供的原始几何对象，即多矢量，通过解决多线性特征值问题来获取几何对象。这样，我们可以明确地避免在注册过程中解决对应关系，并同时实现输入多矢量和特征多矢量之间的旋转等变性质。通过在常用的点云注册数据集上进行实验评估，我们证明了该方法的实用性，特别是在高水平噪声引起的不确定性方面。

    Jun, 2024

  • 从方差到真实性：在可微束调整层中解构和减轻梯度方差

    通过使用在训练问题中预测的权重来降低梯度方差，从而减轻异常值的影响，我们提出了一个简单但有效的解决方案，以实现更快的训练速度并在不牺牲性能的情况下在不同的训练设置中更具灵活性。

    Jun, 2024

  • L-PR：利用 LiDAR 基准标记进行无序低重叠多视图点云配准

    本研究介绍了一种名为 L-PR 的新型框架，利用 LiDAR 基准标志（类似于 AprilTag 和 ArUco 标记）来注册无序的低重叠多视点点云。通过改进的自适应阈值标记检测方法和二级图优化，该方法在准确性、重建质量、定位准确性和对恶化场景的鲁棒性等四个方面表现优越。我们将方法和数据集开源，链接：https://this_URL。

    Jun, 2024

  • 使用 RGB-D 融合在 DiffusionDet 框架中增强的汽车物体检测

    一项基于视觉的自动驾驶需要可靠高效的对象检测的研究提出了一种 DiffusionDet 框架，该框架利用单目相机和深度传感器的数据融合来提供 RGB 和深度（RGB-D）数据，并通过在训练阶段随机重塑基准边界框，使模型学习噪声加入的相反扩散过程。通过将 RGB 图像的纹理和颜色特征与 LiDAR 传感器的空间深度信息结合起来，所提出的框架采用了特征融合，从而大大提高了汽车目标的对象检测能力。在 KITTI 数据集上进行的全面实验取得了 2.3 的 AP 增益，特别是在检测小物体方面展示了所提出方法的改进性能。

    Jun, 2024

  • Deep-PE: 基于学习的点云配准姿态评估器

    在点云配准领域，本文介绍了一种轻量级的基于学习的姿态评估器（Deep-PE），用于增强姿态选择的准确性，特别是在低重叠的挑战性点云场景中。该网络结合了姿态感知注意力模块和姿态置信度预测模块，通过学习不同候选姿态下点云的对齐状态来提高注册的成功率。在多个基准测试中，Deep-PE 在低重叠率的情况下，相对于基于手工 FPFH 和基于学习的 FCGF 描述符的最先进方法，注册召回率分别提高了至少 8% 和 11%。据我们所知，这是第一项利用深度学习在没有显式输入对应关系的情况下选择最优姿态的研究。

    May, 2024

  • RGBD-Glue: 强鲁棒性 RGB-D 点云配准的通用特征融合

    通过提出一种新的特征组合框架，应用松散但更有效的融合，克服各种特征的弱点，并利用两种类型特征的有效信息，该方法在 ScanNet 上实现了最先进的性能，旋转精度达到了 99.1%。

    May, 2024

  • 基于深度学习的点云配准用于增强现实引导下的手术

    深度学习在增强现实引导手术中的应用可能性进行了评估，通过使用医学成像和基于 HoloLens 2 的点云数据集来研究深度学习点云对图像到患者注册的效果，并发现在具有挑战性的数据集上传统注册流程仍然优于某些深度学习方法。

    May, 2024

  • 基于深度学习的点云配准的综合调查与分类

    本篇综述调查了基于深度学习的点云配准技术，包括数据集和评估指标，对现有的研究进行了分类，并提出未来研究的挑战和方向。

    Apr, 2024