ICCVAug, 2023

2D3D-MATR: 图像与点云之间基于 2D-3D 匹配变换器的无检测配准

PDF
TL;DR采用 2D3D-MATR 方法，我们提出了一种无需检测的方法，用于图像和点云之间的准确且鲁棒的配准。该方法在粗匹配的基础上，通过学习全局上下文约束和跨模态相关性，通过 transformer 实现多尺度金字塔和图像块焦点学习，解决了尺度不确定性问题，从而获得了比之前的最优模型 P2-Net 更高的配准率和稳定度。
registrationdetect-then-matchcross-modality2d3d-matrpatch matching
发现论文，激发创造
  • 2D3D-MatchNet：学习在 2D 图像和 3D 点云之间匹配关键点

    本研究提出了一种名为 2D3D-MatchNet 的深度网络结构，能够直接从图像和点云中的 2D 和 3D 关键点描述符中匹配和建立 2D-3D 对应关系，并用于视觉位姿估计，结果表明该方法是可行的。

    Apr, 2019

  • 快速而坚固的点云配准的几何变换器

    本研究提出了一种名为几何变换器的方法，通过学习几何特征进行超级点匹配，从而实现点云配准。该方法不需要检测重复的关键点，并在低重叠情况下表现良好，能够提高内点比率和注册召回率。

    Feb, 2022

  • GeoTransformer: 快速且鲁棒的点云配准算法与几何变换

    本论文研究了点云配准中准确提取对应关系的问题，通过绕过重复关键点的检测，利用超点实现了匹配，并提出了一种名为几何变换器（GeoTransformer）的方法来学习几何特征，从而使得在低重叠情况下具有鲁棒性。实验证明该方法在各种测试场景下都表现出了显著的准确性和效率。

    Jul, 2023

  • 用 MASt3R 在 3D 中实现图像匹配

    通过在 DUSt3R 网络中引入新的头部，并训练密集局部特征以及附加匹配损失，我们改进了匹配能力，同时保持其鲁棒性，取得了显著的结果改进，击败了现有方法，并在多个匹配任务中实现了 30％的绝对改善。

    Jun, 2024

  • FreeReg: 集成预训练扩散模型和单目深度估计的图像到点云注册

    图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

    Oct, 2023

  • REGTR: 基于 Transformer 的端到端点云对应

    该论文提出了一种新的端到端方法来直接预测配准操作中的对应点，利用 transformer 网络结构中的自注意力和交叉注意力机制来替代传统的特征匹配和 RANSAC 算法，该方法在 3DMatch 和 ModelNet 基准上均取得了最先进的成绩。

    Mar, 2022

  • TP3M: 基于 Transformer 的伪 3D 图像匹配带参考

    本论文提出了一种基于 Transformer 的伪三维图像匹配方法，通过引入参考图像将源图像的 2D 特征升级为 3D 特征，并通过由粗到细的三维匹配与目标图像的 2D 特征进行匹配，从而提高了在具有大视角或光照变化或低纹理的场景中的匹配性能。实验结果表明，所提出的方法在同态估计、姿态估计和视觉定位任务中，在具有挑战性的场景中达到了最先进的水平。

    May, 2024

  • M3DeTR：基于 Transformer 的多表征、多尺度、互相关联的 3D 物体检测

    提出了一种新颖的 3D 物体检测架构 M3DeTR，它将不同的点云表示方法（原始、体素、鸟瞰图）和不同的特征尺度结合在一起，并基于多尺度特征金字塔来模型点云之间的相互关系。通过大量的消融实验，突出了特征尺度和表示方式融合，以及模型点云之间的相互关系的好处。在 KITTI 3D 物体检测数据集和 Waymo 开放数据集中取得了最先进的性能表现，并在一些类别中排名第一。

    Apr, 2021

  • 基于深度图匹配的稳健点云配准框架

    本文提出了一种基于深度图匹配的 3D 点云注册框架，通过先将点云转化为图并提取每个点的深度特征，再用深度图匹配计算软对应矩阵，从而找到更正确的对应关系，实现了在有离群点和时间约束而没有好的变换初始化时的 3D 点云快速注册。

    Mar, 2021

  • D3Former: 通过显著性引导的 Transformer 共同学习可重复的稠密探测器和特征增强描述符

    通过引入一种名为 D3Former 的基于显著性引导的变换器模型，联合学习可重复的稠密检测器和增强特征的描述符，实现了准确匹配点云问题的关键步骤，实验证明该方法在室内和室外基准测试中始终优于最先进的点云匹配方法。

    Dec, 2023