Oct, 2023

FreeReg: 集成预训练扩散模型和单目深度估计的图像到点云注册

TL;DR图像与点云之间的特征匹配问题是图像到点云配准的基本问题。通过预训练的大规模模型来统一图像和点云之间的模态,并在同一模态内建立可靠的对应关系。我们利用深度到图像扩散模型提取的中间特征即扩散特征在图像和点云之间具有语义一致性,这使得粗糙但稳健的跨模态对应关系的建立成为可能。在由单目深度估计器产生的深度图上进一步提取几何特征,通过匹配这些几何特征,显著提高了扩散特征产生的粗糙对应关系的准确性。在三个公共室内外基准测试上,通过直接利用这两种特征,该方法平均提高了 20.6%的内点比率、三倍的内点数目和 48.6%的配准召回率相比现有最先进方法。