Sep, 2023

学习检测关键点以改善可变形对象的匹配

PDF
TL;DR我们提出了一种新颖的学习关键点检测方法，用于增加非刚性图像对应任务中正确匹配数目。通过利用使用指定描述符提取器匹配注释图像对获得的真实对应关系，我们训练了一个端到端的卷积神经网络（CNN）来寻找更适合所考虑描述符的关键点位置。为此，我们对图像应用几何和光度变换来生成监督信号，从而优化检测器。实验证明，我们的方法在与我们的检测方法结合使用时，可以提高多个描述符的均值匹配精度，并且在非刚性对象的真实图像上优于最先进的关键点检测器 20 个百分点。我们还将我们的方法应用于复杂的现实世界的物体检索任务中，我们的检测器在这个任务上的性能与当前可用的最佳关键点检测器相当。源代码和训练好的模型可以在此 URL 上公开获取。
keypoint detectionnon-rigid image correspondenceconvolutional neural networkmean matching accuracyobject retrieval
发现论文，激发创造
  • 通过联合学习检测和描述关键点来增强可变形局部特征

    DALF is a new, deformation-aware network for jointly detecting and describing keypoints, which can be used for local feature extraction in computer vision and delivers better performance when dealing with matching deformable surfaces.

    Apr, 2023

  • 端到端学习鲁棒姿态 3D 匹配的关键点检测器和描述符

    本论文提出了一种基于端到端学习框架的关键点检测及其表示的方法，以适应于三维深度地图或扫描，通过采样相应的区域提案实现正负样本的自动获取，并在多个基准数据集上进行匹配实验，表明该方法相对于现有方法具有明显的改进。

    Feb, 2018

  • 通用对应网络

    本文提出了一种深度学习框架，用于准确的视觉对应，并证明了其在几何和语义匹配中的有效性，提出了一种卷积空间变换器来模仿传统特征（如 SIFT）中的补丁归一化，广泛的 KITTI，PASCAL 和 CUB-2011 数据集的实验表明，与使用手工构建或学习特征的先前作品相比，我们的特征具有显着优势。

    Jun, 2016

  • 强化特征点： 针对高级任务优化特征检测和描述

    该研究论文提出一种嵌入完整视觉流水线中的特征检测器训练方法，通过强化学习的原则克服关键点选择和描述符匹配的离散性，并通过实验表明该方法可以提高基于学习的特征检测器在任务中的准确性。

    Dec, 2019

  • 使用多视角关键点对应估计单目图像中的物体姿态

    利用物体分类内部几何规律的数据驱动姿态估计方法。首先，从 2D RGB 图像学习物体部分的姿态不变局部描述符。将这些描述符与来自固定３D 模板的关键点结合使用，生成给定单眼实际图像的关键点对应图。最后，使用这些关键点对应图，预测物体的３D 姿态。该方法在多个真实环境的视角估计数据集，如 Pascal3D + 与 ObjectNet3D 上的表现达到最佳水平，并且我们公开了所使用方法的代码以鼓励再生研究。

    Sep, 2018

  • DeDoDe: 本地特征匹配中的检测，不是描述 - 描述，不是检测

    基于 3D 连续性，我们通过从大规模 SfM 中训练探测器来直接学习关键点，并且通过分离的网络最大化互相最近邻目标来训练描述符。结果表明，我们的方法 DeDoDe 在多个几何基准测试中取得了显著的增益。

    Aug, 2023

  • 层次结构度量学习及其在二维和三维几何对应中的匹配

    该研究提出了使用深度学习的 CNN 网络以及不同层次的特征图来进行几何匹配的任务，并相较于先前的手动特征点描述方法，展示了更佳的匹配结果。

    Mar, 2018

  • 自监督等变学习用于定向关键点检测

    本文提出了一种使用旋转卷积神经网络的自监督学习框架，通过生成的图像对和直方图来训练密集方向对准损失，从而学习检测具有鲁棒性的定向关键点，并在图像匹配和相机姿态估计基准测试中表现出优异的性能。

    Apr, 2022

  • Key.Net: 通过手工设计和学习卷积神经网络滤波器进行关键点检测

    介绍了一种新颖的关键点检测方法，该方法结合了手工制作和学习的 CNN 滤波器，使用浅层的多尺度架构，在网络中使用尺度空间表示，在不同的层面提取关键点，并设计了一种损失函数来最大化关键特征的可重复性，使用 ImageNet 数据集创建了合成数据用于训练并在 HPatches 基准测试中进行了评估，结果显示我们的方法在可重复性，匹配性能和复杂性方面优于现有的检测器。

    Apr, 2019

  • 使用多视卷积网络从部分对应学习本地形状描述符

    本文提出了一个新的适用于 3D 形状的本地描述符，通过卷积网络直接从多个尺度的从粗到精细视角来捕捉图像的空间局部结构和表面细节，该技术可用于点对应，语义分割和形状匹配等形状分析领域。

    Jun, 2017