ECCVJul, 2022

无监督语义对应估计的解密

PDF
TL;DR通过无监督学习的方法探索语义对应关系估计。我们评估了几种最近提出的无监督方法，并在多个具有挑战性的数据集上使用标准化的评估协议进行全面评估。我们引入了一个新的诊断框架和一个更适合语义匹配任务的性能指标，并介绍了一种新的无监督的对应方法，其利用了预训练特征的强度，同时在训练期间鼓励更好的匹配。与当前最先进的方法相比，这导致了显着更好的匹配性能。
semantic correspondenceunsupervised learningpre-trainingdiagnostic frameworkmatching performance
发现论文，激发创造
  • 若得之则与之，语义对应学习无对标图像

    通过无标签对训练的简单而有效的方法，扩充了数据集的数量和多样性，并在基于语义的对应基准测试中取得了优于里程碑基线和最先进方法的性能提升。

    Nov, 2023

  • 语义感知细粒度对应

    本文提出了一种语义感知的细粒度对应方法，该方法融合了基于图像和基于像素的自监督学习方法来提高任务的性能，在视频对象分割、人体姿态跟踪和人体部分跟踪等视觉对应任务上超过了以往基于卷积神经网络的最新自监督方法。

    Jul, 2022

  • 半监督语义匹配

    本文提出了一种半监督学习框架，为无标签图像对增加循环一致性限制，在监督丢失和无监督训练中实现了最先进的语义匹配性能。

    Jan, 2019

  • 区分左右：几何感知语义对应标识

    基于现有动物姿势估计数据集构建了一个新的挑战性的语义对应基准，表明几何感知在语义对应中的重要性，并揭示了当前基础模型特征在简单后处理中的局限性。我们展示了在零样本和监督设置下用简单而有效的解决方案结合这些信息可以显著提高语义对应性能。在备受挑战的 SPair-71k 数据集上，我们的方法在零样本情况下达到了 64.2 的 [email protected] 分数，在监督设置下达到了 85.6 分数，相较最先进方法分别提高了 4.3p 和 11.0p 的绝对增益。我们的代码和数据集将对公众开放。

    Nov, 2023

  • 利用视点引导的球面映射改善语义对应

    自监督表征学习在提取图像特征方面取得了近期的进展，但在面对对称性和重复部分等具有挑战性的图像特征时仍存在限制。为了解决这些限制，本文提出一种新的语义对应估计方法，将有区分度的自监督特征与三维理解相结合，通过弱几何球面先验进行补充。与更复杂的三维流程相比，我们的模型仅需要弱视点信息，我们球面表示的简单性使我们能够在训练过程中注入信息丰富的几何先验。我们提出了一个更好地考虑重复部分和对称性误差的新评估指标。我们在具有挑战性的 SPair-71k 数据集上呈现结果，表明我们的方法能够在许多物体类别上区分对称视图和重复部分，并且还证明我们能够推广到 AwA 数据集上的未见类别。

    Dec, 2023

  • 通过提炼特征对应关系进行无监督的语义分割

    STEGO 是一种新的自监督特征提取框架，通过使用对比损失函数来加强特征聚类的紧凑性，并在 CocoStuff 和 Cityscapes 语义分割挑战中显著优于其他算法。

    Mar, 2022

  • 端到端弱监督语义对齐

    本文提出了一种基于卷积神经网络和不同 iable soft inlier scoring 模块的语义对齐方法，该方法无需繁琐的手工标注就能实现对不同但具有语义相关性的图像进行参数学习，并从几何上一致的对应关系计算对齐质量，达到了基于多个标准基准的语义对齐的最先进表现。

    Dec, 2017

  • 内容感知无监督深度单应矩阵估计

    提出了一种无监督深度视觉几何估计方法来提高图像配准的精度，通过学习异常值掩模以去除噪声和提取更可靠的样本进行估计，使用 RANSAC 机制进行可靠区域选择，并专注于学习深度特征来计算损失，同时不忽略在真实场景中处理视差和运动物体的重要性。

    Sep, 2019

  • 利用稀疏标注学习语义对应

    本文针对语义对应中标签稀疏性的挑战，提出了一种基于稀疏关键点注释生成密集伪标签的教师 - 学生学习范式，并开发了两种噪声伪标签去噪策略，使用空间先验和损失驱动的动态标签选择策略。实验结果表明该方法在语义对应的三个基准测试中均取得了显著进展并建立了新的最新成果。

    Aug, 2022

  • 通用对应网络

    本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

    Jun, 2016