本文介绍了一种称为 PointCMT 的简单而有效的点云交叉模态训练策略，通过使用视图图像（即三维对象的渲染或投影的二维图像）来促进点云分析，进而更好地实现了三维点云表征。 实验证明，PointCMT 有效地改进了点云的表示方法，在不修改架构的情况下，基于 PointCMT 的模型在 ModelNet40 和 ScanObjectNN 等各种数据集上均实现了最先进的性能。

Oct, 2022

本研究提出了一种名为 CrossPoint 的简单跨模态对比学习方法，通过自监督学习，在不需要人类标注的情况下，实现可转移的三维点云表示，通过最大化点云和相应渲染的二维图像之间的协议，实现了三维物体分类和分割等多项任务，并验证了我们的方法在提高点云理解方面的效果。

Mar, 2022

图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态，并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性，这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征，通过匹配这些几何特征，显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上，通过直接利用这两种特征，该方法平均提高了 20.6％的内点比率、三倍的内点数目和 48.6％的配准召回率相比现有最先进方法。

Oct, 2023

本文介绍了一种名为 CrossVideo 的新方法，旨在增强点云视频理解领域的自监督跨模态对比学习。通过利用点云视频和图像视频之间的跨模态关系获取有意义的特征表示，我们提出了一种自监督学习方法来解决数据稀缺和标签获取困难的问题。通过使用单模态和跨模态对比学习技术，我们实现了对点云视频的有效理解，并提出了一种适用于两种模态的多层对比方法。通过广泛的实验证明，我们的方法明显超过了先前的最先进方法，并进行了全面的消融研究来验证我们提出的设计的有效性。

Jan, 2024

通过可微分的概率 PnP 求解器学习结构化的跨模态潜空间，以表示像素特征和 3D 特征，并通过 VoxelPoint-to-Pixel 匹配设计了三元组网络，该网络使用像素和点来学习潜空间。在 KITTI 和 nuScenes 数据集上的实验结果显示了与最先进方法相比的显著改进。

Dec, 2023

本研究提出了一种基于粗 - 精匹配的框架，在该框架中，将图片和点云转化为局部表示，并利用了 attention 来捕捉全局和跨模态上下文，并通过设计良好的采样和精细匹配来细化点到像素的对应关系，从而解决了图像与点云匹配的问题，并在大规模室外数据集上取得了优于现有方法的结果。

Jul, 2023

本文提出了一种新型的多特征引导网络 (MFG) 用于局部至局部点云配准，该网络包含关键点特征提取、对应关系搜索、对应关系可信度计算和 SVD 等部分，并通过特征和空间坐标进行对应关系搜索和匹配。本文的实验结果表明，该网络在保持计算效率的同时优于当前最先进技术。

Nov, 2020

本研究提出了一种基于全局特征的 OMNet 方法，用于局部 - 局部点云配准。通过学习重叠区域的掩码来拒绝不重叠的区域，并采用了更实用的数据生成方法，实现了与传统和深度学习方法相比的最新性能。

Mar, 2021

本文提出了一种基于卷积神经网络的方法，借助高水平结构对应信息（即解剖标记）推测像素变化，从而实现多模态图像对齐。结果表明，该方法具有广泛的适用性，可在训练过程中利用各种不同类型的解剖标记，并能实现实时自动化、无需标记或初始化的三维图像对齐。

Jul, 2018

本研究提出一种利用图像到图像翻译网络训练形态转换网络的多模态配准方法，通过单模态指标对图像进行训练，无需对齐模态对即可进行训练，适用于多种模态，实验结果表明该方法高度准确。

Mar, 2020