Dec, 2023

利用视点引导的球面映射改善语义对应

TL;DR自监督表征学习在提取图像特征方面取得了近期的进展,但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制,本文提出一种新的语义对应估计方法,将有区分度的自监督特征与三维理解相结合,通过弱几何球面先验进行补充。与更复杂的三维流程相比,我们的模型仅需要弱视点信息,我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果,表明我们的方法能够在许多物体类别上区分对称视图和重复部分,并且还证明我们能够推广到 AwA 数据集上的未见类别。