CVPRApr, 2024

XFeat: 轻量级图像匹配的加速特征

PDF
TL;DR我们提出了一种轻量级且准确的资源高效视觉对应体系结构，称为 XFeat，通过重新审视卷积神经网络的基本设计选择以侦测、提取和匹配局部特征来满足对适用于资源受限设备的快速且稳健算法的关键需求。我们的模型是第一个高效提供半稠密匹配的模型，利用对粗糙局部描述符依赖的新型匹配细化模块，实现了卓越的性能，并在姿态估计和视觉定位中得到验证。
发现论文，激发创造
  • FeatUp：适用于任意分辨率的模型无关特征框架

    使用一个多角度一致性损失函数，我们提出了 FeatUp，一种可以恢复深度特征中丢失空间信息的任务和模型无关的框架。通过保持原始语义，FeatUp 在现有应用中替换特征，从而取得了分辨率和性能上的提升，甚至无需重新训练，我们在类别激活图、分割和深度预测的传递学习以及语义分割的端到端训练方面展示了 FeatUp 明显优于其他特征上采样和图像超分辨率方法。

    Mar, 2024

  • ReDFeat: 多模态特征学习中的重耦合检测和描述

    本文利用互相关联的检测和描述特点的相互加权策略进行多模态特征学习，提出了具有大触发范围的 Super Detector 和 learnable 非最大抑制层的 detector，并提出了可评估特征匹配和图像注册任务性能的基准系统，实验证明本文的方法可以显著提高匹配的准确性及训练的稳定性。

    May, 2022

  • 强化特征点： 针对高级任务优化特征检测和描述

    该研究论文提出一种嵌入完整视觉流水线中的特征检测器训练方法，通过强化学习的原则克服关键点选择和描述符匹配的离散性，并通过实验表明该方法可以提高基于学习的特征检测器在任务中的准确性。

    Dec, 2019

  • ASLFeat: 学习准确形状和定位的本地特征

    ASLFeat 是一种新的本地特征检测器和描述符结合的方法，使用可变形卷积网络估计本地特征点的形状，从而实现更强的几何不变性。此外，ASLFeat 使用层次结构以恢复空间分辨率和局部细节，并通过尖锐度测量来推导最有指示性的检测分数，以进一步提高检测精度和可靠性，并可在各种实际场景中获得最新的研究成果。

    Mar, 2020

  • DFM: 深度特征匹配性能基准

    本文提出了一种新颖的图像匹配方法，利用预先训练的 VGG 神经网络提取图像特征，在首次较好的几何转换估计后，再以分层的方式重复运用该方法，达到良好的本地化和匹配性能。该算法在 Hpatches 数据集上达到了 0.57 和 0.80 的平均匹配准确性分数，表现优于现有技术。

    Jun, 2021

  • 学习图像检索的超级特征

    本文介绍了一种基于超级特征的深度图像检索架构，只需要图像标签即可训练。超级特征由迭代的注意模块构建，通过对 Super-features 实施对比损失来匹配图像。与局部特征相比，这种方法在存储空间方面具有显着优势，并在常见地标检索基准上表现出比现有方法更好的效果。

    Jan, 2022

  • 从图像中学习本地特征的 LF-Net

    本研究提出了一种新颖的深度架构和训练策略，利用图像集合学习本地特征流水线，无需人工监督；通过利用深度和相对相机姿态提示创建一个虚拟目标，并在一个图像上限制网络，同时保留不可区分性来优化网络。我们在室内和户外两个数据集上进行训练，并在稀疏特征匹配方面的模型性能表现优于现有技术，同时对 QVGA 图像运行速度达到 60+ fps。

    May, 2018

  • 预训练 CNN 的嵌入式特征本地化

    本研究引入了一种基于 CNN 内部信息的新型特征检测器，检测器的信息从特征图与输入图像的梯度计算获得，能够生成显著性地图和相关关键点，无需监督训练，和专门的 feature detector 性能相似。

    Jul, 2019

  • 多尺度匹配网络用于语义对应

    本文提出了一种多尺度匹配网络，该网络可以对邻近像素之间微小的语义差异进行敏感的多尺度匹配，并利用深度卷积神经网络的多尺度结构学习判别像素级特征。实验结果表明，该方法在三个流行的基准测试上具有高计算效率并达到了最先进的性能。

    Jul, 2021

  • ResMatch: 针对局部特征匹配的残差注意力学习

    本文提出了 ResMatch 和 sResMatch 两种残差注意力学习策略，以利用描述符和相对位置的相似性来实现图神经网络中的特征匹配和过滤。实验证明，这些网络在特征匹配、姿态估计和视觉定位等方面具有优越性。

    Jul, 2023