Jul, 2023

CFI2P: 粗到精的跨模态对应学习用于图像到点云匹配

PDF
TL;DR本研究提出了一种基于粗 - 精匹配的框架，在该框架中，将图片和点云转化为局部表示，并利用了 attention 来捕捉全局和跨模态上下文，并通过设计良好的采样和精细匹配来细化点到像素的对应关系，从而解决了图像与点云匹配的问题，并在大规模室外数据集上取得了优于现有方法的结果。
image-to-point cloud registrationpoint-to-pixel correspondencescoarse-to-fine frameworkvisual transformerepnp algorithm
发现论文，激发创造
  • CoFiI2P：图像到点云的粗到精对应关系注册

    该研究论文介绍了 CoFiI2P，一种新颖的图像到点云注册网络，通过层次化特征提取和鲁棒特征对应的建立，以获得全局最优解决方案，并在 KITTI 数据集上展示了相对旋转误差（RRE）为 2.25 度和相对平移误差（RTE）为 0.61 米的显著提升。

    Sep, 2023

  • 图像和 LiDAR 点云的可微分配准：体素点对应

    通过可微分的概率 PnP 求解器学习结构化的跨模态潜空间，以表示像素特征和 3D 特征，并通过 VoxelPoint-to-Pixel 匹配设计了三元组网络，该网络使用像素和点来学习潜空间。在 KITTI 和 nuScenes 数据集上的实验结果显示了与最先进方法相比的显著改进。

    Dec, 2023

  • CoFiNet：可靠的粗到细的对应关系用于鲁棒的点云配准

    本文介绍了一种名为 CoFiNet 的粗糙到精细网络技术，该技术无需进行关键点检测，而是通过权重方案从粗糙到精细地提取点云之间的对应关系并进行匹配。在标准测试中，CoFiNet 在室内和室外场景上都比现有方法表现优越，特别是在 3DLoMatch 上，其 Registration Recall 性能提高至少 5％，而参数至多只有现有方法的三分之二。

    Oct, 2021

  • FreeReg: 集成预训练扩散模型和单目深度估计的图像到点云注册

    图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

    Oct, 2023

  • DeepI2P: 基于深度分类的图像到点云注册

    本文提出了 DeepI2P：一种新的图像和点云之间的跨模态配准方法。通过将配准问题转化为分类和逆投影优化问题，并使用分类神经网络来对点云中的每个点进行分类。通过这种方法估计相对刚性变换，进而解决了图像和点云之间特征描述缺失的问题。实验结果表明了我们方法的可行性。

    Apr, 2021

  • 基于对比学习的跨模态信息导向网络用于点云配准

    利用跨模态信息建议的网络 (CMIGNet) 实现精确和稳健的点云配准，通过投影图像和交叉模态特征融合，采用两种对比学习策略，并提出了一个遮罩预测模块以识别点云中的关键点，实验证明我们的网络具有优越的配准性能。

    Nov, 2023

  • 弱监督 2D 点集配准的语义匹配

    本文提出了一种卷积神经网络的方法来处理物体相同实例之间的对应关系问题，定义了一个新的基于循环一致性的损失函数来解决 2D 点集的注册问题，并在 Proposal-Flow（PF-PASCAL）数据集上进行了训练和测试，取得了最先进的结果。

    Jan, 2019

  • EP2P-Loc：大规模视觉定位的端到端三维点到二维像素定位

    通过建立参考地图并使用 EP2P-Loc 方法，本文提出了一种新颖的大规模视觉定位方法，绕过 2D 和 3D 感知模态之间的表示差异，从而实现端到端的姿态估计，并在实验中表现出与现有视觉定位方法和图像到点云注册方法相比的最先进性能。

    Sep, 2023

  • P2-Net：针对像素和点匹配的局部特征描述和检测的联合方法

    提出了一个双重完全卷积框架，用于建立 2D 图像和 3D 点云之间的精细对应关系，以直接匹配像素和点，并实现了室内视觉定位的任务中领先的最优结果。

    Mar, 2021

  • Patch2Pix: 基于极线引导的像素级对应

    本文提出了基于检测再细化的新视角来估计对应关系，并介绍了一种新颖的细化网络 Patch2Pix，它通过对匹配传播的精细调整和置信度分数的拒绝来提高对应关系网络的性能，实现了图像匹配、单应性估计和定位任务的最优性能。

    Dec, 2020