区分左右：几何感知语义对应标识

Nov, 2023

区分左右：几何感知语义对应标识

Telling Left from Right: Identifying Geometry-Aware Semantic Correspondence

Junyi Zhang, Charles Herrmann, Junhwa Hur, Eric Chen, Varun Jampani...

TL;DR基于现有动物姿势估计数据集构建了一个新的挑战性的语义对应基准，表明几何感知在语义对应中的重要性，并揭示了当前基础模型特征在简单后处理中的局限性。我们展示了在零样本和监督设置下用简单而有效的解决方案结合这些信息可以显著提高语义对应性能。在备受挑战的 SPair-71k 数据集上，我们的方法在零样本情况下达到了 64.2 的 [email protected] 分数，在监督设置下达到了 85.6 分数，相较最先进方法分别提高了 4.3p 和 11.0p 的绝对增益。我们的代码和数据集将对公众开放。

Abstract

While pre-trained large-scale vision models have shown significant promise for semantic correspondence, their features often struggle to grasp the geometry and orientation of instances. This paper identifies the importance of being →

semantic correspondence geometry-aware foundation models post-processing benchmark dataset

发现论文，激发创造

通用对应网络

本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

Jun, 2016

形状感知的零样本语义分割研究

本研究通过使用基于自监督像素级特征构建的拉普拉斯矩阵的特征向量提高了形状感知的零样本语义分割准确性，实现了比现有成果更好的零样本语义分割表现。

Apr, 2023

利用视点引导的球面映射改善语义对应

自监督表征学习在提取图像特征方面取得了近期的进展，但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制，本文提出一种新的语义对应估计方法，将有区分度的自监督特征与三维理解相结合，通过弱几何球面先验进行补充。与更复杂的三维流程相比，我们的模型仅需要弱视点信息，我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果，表明我们的方法能够在许多物体类别上区分对称视图和重复部分，并且还证明我们能够推广到 AwA 数据集上的未见类别。

Dec, 2023

零射 3D 形状对应

本文提出一种新颖的零样本方法，用于计算 3D 模型之间的对应关系，特别是针对具有很强差异性和不同类别之间匹配的问题，并在零样本情况下使用 language-vision model 方法进行分类，使用 ChatGPT 生成语义映射，并使用 functional maps framework 进一步细化到点对点映射。

Jun, 2023

几何与语义相遇：半监督单目深度估计

通过利用语义标记的图像和通过图像变形获得的无监督信号来联合学习语义分割和深度估计，提出了一种半监督的深度估计方法，结果表明在 KITTI 数据集上超过了单目深度估计的先进方法。

Oct, 2018

GS-Pose: 基于几何和语义一致的类别级目标姿态估计

类别级别姿态估计是一项具有挑战性的任务，近期深度学习方法取得了很大进展，但常常受到需要大量数据集或精心调整的逼真模拟器的限制。为了解决这个冲突，我们提出利用从预训练基础模型中获取的几何和语义特征，通过将 2D 特征从基础模型投影到三维空间来对单个类别的物体模型进行匹配，并在训练好的匹配网络上处理对未见物体实例的新的单视图观测，这比先前方法需要的数据量显著减少。我们通过丰富的评估结果表明了这一点，并展示了比先前方法更好的性能。

Nov, 2023

若得之则与之，语义对应学习无对标图像

通过无标签对训练的简单而有效的方法，扩充了数据集的数量和多样性，并在基于语义的对应基准测试中取得了优于里程碑基线和最先进方法的性能提升。

Nov, 2023

无监督语义对应估计的解密

通过无监督学习的方法探索语义对应关系估计。我们评估了几种最近提出的无监督方法，并在多个具有挑战性的数据集上使用标准化的评估协议进行全面评估。我们引入了一个新的诊断框架和一个更适合语义匹配任务的性能指标，并介绍了一种新的无监督的对应方法，其利用了预训练特征的强度，同时在训练期间鼓励更好的匹配。与当前最先进的方法相比，这导致了显着更好的匹配性能。

Jul, 2022

人类信函共识的 3D 物体语义理解

本文提出了一种基于同一类别不同对象之间的语义对应关系来恢复物体丰富语义信息的方法，同时介绍了 CorresPondenceNet 数据集，通过该数据集训练得到的密集语义嵌入可以促进异构对象的细粒度理解以及跨对象注册和部分对象匹配。

Dec, 2019

SCNet：学习语义对应性

本文提出了 SCNet，一种基于卷积神经网络的语义对应的几何合理模型，利用区域提议实现匹配原语，并明确将几何一致性纳入其损失函数中，该方法在多项基准测试中均表现优异。

May, 2017