本研究提出了一种基于粗 - 精匹配的框架，在该框架中，将图片和点云转化为局部表示，并利用了 attention 来捕捉全局和跨模态上下文，并通过设计良好的采样和精细匹配来细化点到像素的对应关系，从而解决了图像与点云匹配的问题，并在大规模室外数据集上取得了优于现有方法的结果。

Jul, 2023

本研究提出了一种名为 I2PNet 的新型端对端 2D-3D 注册网络，该网络能够精确定位机器人并在相机 - LiDAR 在线校准方面表现出色。

Jun, 2023

图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

Oct, 2023

本文提出了 DeepI2P：一种新的图像和点云之间的跨模态配准方法。通过将配准问题转化为分类和逆投影优化问题，并使用分类神经网络来对点云中的每个点进行分类。通过这种方法估计相对刚性变换，进而解决了图像和点云之间特征描述缺失的问题。实验结果表明了我们方法的可行性。

Apr, 2021

提出了一个双重完全卷积框架，用于建立 2D 图像和 3D 点云之间的精细对应关系，以直接匹配像素和点，并实现了室内视觉定位的任务中领先的最优结果。

Mar, 2021

利用跨模态信息建议的网络 (CMIGNet) 实现精确和稳健的点云配准，通过投影图像和交叉模态特征融合，采用两种对比学习策略，并提出了一个遮罩预测模块以识别点云中的关键点，实验证明我们的网络具有优越的配准性能。

Nov, 2023

使用图神经偏微分方程和热核签名的鲁棒点云配准方法，在三维计算机视觉中具有应用于图形、自动驾驶和机器人技术等领域的基础技术。实验结果表明，该方法不仅在点云配准方面取得了最先进的性能，而且对于加性噪声或三维形状扰动具有更好的鲁棒性。

Apr, 2024

采用 2D3D-MATR 方法，我们提出了一种无需检测的方法，用于图像和点云之间的准确且鲁棒的配准。该方法在粗匹配的基础上，通过学习全局上下文约束和跨模态相关性，通过 transformer 实现多尺度金字塔和图像块焦点学习，解决了尺度不确定性问题，从而获得了比之前的最优模型 P2-Net 更高的配准率和稳定度。

Aug, 2023

通过建立参考地图并使用 EP2P-Loc 方法，本文提出了一种新颖的大规模视觉定位方法，绕过 2D 和 3D 感知模态之间的表示差异，从而实现端到端的姿态估计，并在实验中表现出与现有视觉定位方法和图像到点云注册方法相比的最先进性能。

Sep, 2023

提出了一种名为 PointVoxel 的流程，利用多视图 RGB 和 pointcloud 输入融合来获取 3D 人体姿势，并通过合成数据集生成器和无监督域自适应策略来克服在困难场景中标注 3D 人体姿势标签的挑战，展现了有希望的结果。

Dec, 2023