Jan, 2020

UR2KiD: 无需局部一致性监督的统一检索、关键点检测和关键点描述

PDF
TL;DR本文提出了一种基于 ResNet 模型的统一框架，用于关键点检测、特征提取和图像检索，不需要使用点对点的训练数据，利用通用技术在标准 ResNet 模型的连续层中提取局部信息，通过局部响应值的池化提取全局信息，可以在各种具有挑战性的评估条件下获得与最先进方法相当的结果，而无需像素级对应关系的监督。
keypoint detectionimage retrievalresnetlocal informationglobal information
发现论文，激发创造
  • 可重复、可靠的检测器和特征描述器 (R2D2)

    本论文提出了一种同时学习关键点检测、特征描述和本地描述符可区分性预测器的方法，用于解决经典方法中存在的重复区域不具有判别力和描述符在存在歧义区域中的性能问题，在 HPatches 和 Aachen Day-Night 数据集上性能均表现优异。

    Jun, 2019

  • 端到端学习鲁棒姿态 3D 匹配的关键点检测器和描述符

    本论文提出了一种基于端到端学习框架的关键点检测及其表示的方法，以适应于三维深度地图或扫描，通过采样相应的区域提案实现正负样本的自动获取，并在多个基准数据集上进行匹配实验，表明该方法相对于现有方法具有明显的改进。

    Feb, 2018

  • P2-Net：针对像素和点匹配的局部特征描述和检测的联合方法

    提出了一个双重完全卷积框架，用于建立 2D 图像和 3D 点云之间的精细对应关系，以直接匹配像素和点，并实现了室内视觉定位的任务中领先的最优结果。

    Mar, 2021

  • 鱼眼和透视图像自监督兴趣点检测和描述

    本文通过自监督学习的方法针对鱼眼和投影图像混合的情况，研究关键点检测和匹配问题，提出了一种训练兴趣点检测器和描述符网络的方法，并证明了目前的方法不是最优解，提出的方法是最有效的。

    Jun, 2023

  • SEKD：自适应进化的关键点检测和描述

    使用自监督框架 SEKD 从未标记的自然图像中学习高级局部特征模型，实现了与传统手工精制和基于深度神经网络方法相比表现更好的齐次估计、相对姿态估计和结构运动任务检测。

    Jun, 2020

  • 多视角配准监督

    本论文提出一个半监督学习框架，利用多视图图像流训练关键点检测器，以弥补有限标注数据的不足。作者使用多视图几何和视觉跟踪的互补关系提供三种监督信号，使用未标记的数据训练网络，证明其优于 DeepLabCut 等现有的关键点检测器，特别适用于猴、狗、老鼠等非人类物种的关键点检测。

    Nov, 2018

  • DeDoDe: 本地特征匹配中的检测，不是描述 - 描述，不是检测

    基于 3D 连续性，我们通过从大规模 SfM 中训练探测器来直接学习关键点，并且通过分离的网络最大化互相最近邻目标来训练描述符。结果表明，我们的方法 DeDoDe 在多个几何基准测试中取得了显著的增益。

    Aug, 2023

  • Sim2Real 基于物体中心的关键点检测与描述

    本文提出了一种以物体为中心的检测和描述方法，结合 sim2real 对比学习机制，以及不确定性，完善像素级特征描述，实现物体级别匹配和在聚类环境下的位姿估计，同时得到了良好的推广性能和 6D 姿态估计精度。

    Feb, 2022

  • 强化特征点： 针对高级任务优化特征检测和描述

    该研究论文提出一种嵌入完整视觉流水线中的特征检测器训练方法，通过强化学习的原则克服关键点选择和描述符匹配的离散性，并通过实验表明该方法可以提高基于学习的特征检测器在任务中的准确性。

    Dec, 2019

  • 预训练扩散模型的无监督关键点

    利用文本到图像扩散模型的新知识，我们的核心思想是找到使生成模型始终关注图像中的紧凑区域（即关键点）的文本嵌入。通过优化文本嵌入，使去噪网络内的交叉注意力图定位为具有小标准差的高斯分布，我们在多个数据集上验证了性能，包括 CelebA、CUB-200-2011、Tai-Chi-HD、DeepFashion 和 Human3.6m 数据集。在非对齐和不太精选的数据上，我们取得了显著改进的准确性，有时甚至超过了监督学习方法。我们的代码公开可用，可以在我们的项目页面找到。

    Nov, 2023