Jun, 2023

LightGlue：轻松速配局部特征

PDF
TL;DRLightGlue 是一种深度神经网络，可以跨图像学习匹配本地特征，并通过多个简单但有效的改进使其更加高效、精确、易于训练，尤其适用于对于视觉重叠度较高或外观变化有限的图像匹配问题，这为 3D 重建等对延迟敏感的应用开启了希望。
lightgluedeep neural networklocal featuressupergluesparse matching
发现论文，激发创造
  • 使用图神经网络学习特征匹配的 SuperGlue

    本文介绍了 SuperGlue，它是一个神经网络，通过联合找到对应和拒绝不可匹配的点，匹配两组局部特征。我们通过解决可微分的最优传输问题来估算分配，其成本由图神经网络预测。我们引入了一种基于注意力的灵活的上下文聚合机制，使 SuperGlue 能够联合推理基础的三维场景和特征分配。与传统的手动设计启发式技术相比，我们的技术通过从图像对的端到端训练来学习几何变换的先验知识和三维世界的规律性。SuperGlue 在挑战性的现实室内和室外环境中的姿态估计任务中优于其他学习方法，并实现了最先进的结果。所提出的方法可以在现代 GPU 上实时匹配，并可以轻松集成到现代 SfM 或 SLAM 系统中。代码和训练好的模型在 https URL 公开。

    Nov, 2019

  • OmniGlue: 基于基础模型引导的通用特征匹配

    OmniGlue 是第一个以广义化为核心原则设计的可学习图像匹配器，它利用视觉基础模型的广泛知识来指导特征匹配过程，提高对未知图像域的泛化能力，并且通过引入新颖的关键点位置引导的注意机制，分离空间和外观信息，从而实现了出色的匹配描述符。

    May, 2024

  • AffineGlue：联合匹配与稳健估计

    我们提出了 AffineGlue，这是一种联合两视图特征匹配和鲁棒估计的方法，通过使用单点最小求解器减少问题的组合复杂性。AffineGlue 从一对多的对应中选择潜在匹配项来估计最小模型。引导匹配然后用于发现与模型一致的匹配，避免了一对一匹配的歧义。此外，我们推导出了一种新的最小求解器用于单应性矩阵估计，只需要一个仿射对应和重力先验。此外，我们训练了一个神经网络来排除不太可能导致良好模型的仿射对应。在真实数据集上，AffineGlue 优于 SOTA，即使假设重力方向向下。在 PhotoTourism 上，与 SOTA 相比，AUC@10° 的得分提高了 6.6 个点。在 ScanNet 上，AffineGlue 使 SuperPoint 和 SuperGlue 达到与无检测器的 LoFTR 相似的准确性。

    Jul, 2023

  • GlueStick: 基于点线粘合的鲁棒图像匹配

    本文提出一种新的匹配模式，将点、线及其描述符统一成一个单独的框架结构，并提出 GlueStick，一种深度匹配图神经网络，以便从不同的图像中取出两个线框并利用节点之间的连接信息更好地将它们粘合在一起。我们证明了这种匹配策略可以优于当前最先进的独立匹配线段和点的方法，适用于各种数据集和任务。

    Apr, 2023

  • DynamicGlue：使用图神经网络进行时空感知数据关联的动态环境解决方案

    我们提出了一种基于图神经网络的稀疏特征匹配网络，旨在在具有挑战性条件下执行健壮的匹配，并在移动物体上排除关键点，实验结果表明，与最先进的特征匹配网络相比，我们的网络在在静态环境中实现了类似的结果，并且在高度动态的场景中显著提高了 SLAM 系统的性能。

    Mar, 2024

  • SuperGLUE: 通用语言理解系统的更粘性基准测试

    本文介绍了新的预训练和迁移学习模型和方法在语言理解任务中取得显着性能提升，提出了一个新的基准测试 SuperGLUE，在 GLUE 基准测试的基础上增加难度更大的语言理解任务、一个软件工具包和公开排行榜，可在 super.gluebenchmark.com 上获取。

    May, 2019

  • GLAMpoints: 贪心学习精确匹配点

    本文介绍了一种新颖的基于卷积神经网络的特征点检测器 - GLAMpoints-，并将其应用于视网膜图像等领域，证明了 GLAMpoints 在特定领域的正确匹配和注册质量上优于传统检测器和现有 CNN-based 方法。

    Aug, 2019

  • GLU-Net：用于稠密光流和对应关系的全局 - 局部通用网络

    我们提出了一种通用的网络架构 GLU-Net，它可以直接应用于所有密集对应的问题，并通过结合全局和局部相关层来同时实现高精度和对大位移的鲁棒性。当使用相同的网络和权重时，此 GLU-Net 在几何和语义匹配以及光流方面都达到了最先进的性能。

    Dec, 2019

  • 高效的 LoFTR：带有类稀疏速度的半稠密本地特征匹配

    我们提出了一种新的方法来高效地生成图像间的半稠密匹配。先前的无需检测器的匹配器 LoFTR 在处理大视角变化和贫纹理场景方面表现出卓越的匹配能力，但效率较低。我们重新审视其设计选择，并对效率和准确性进行多个改进。通过聚合注意力机制和自适应令牌选择，我们避免了在整个特征图上执行变换器的冗余操作。此外，我们发现 LoFTR 的细粒度相关模块存在空间差异，这对匹配准确性不利。我们提出了一种新颖的两阶段相关层，以实现准确的亚像素对应关系。我们的优化模型比 LoFTR 快 2.5 倍，甚至可以超过最先进的高效稀疏匹配流水线 SuperPoint + LightGlue。此外，广泛的实验表明，我们的方法相比竞争对手的半稠密匹配器可以实现更高的准确性，并带来可观的效率优势。这为大规模或对延迟敏感的应用，如图像检索和三维重建，开辟了令人兴奋的前景。

    Mar, 2024

  • XFeat: 轻量级图像匹配的加速特征

    我们提出了一种轻量级且准确的资源高效视觉对应体系结构，称为 XFeat，通过重新审视卷积神经网络的基本设计选择以侦测、提取和匹配局部特征来满足对适用于资源受限设备的快速且稳健算法的关键需求。我们的模型是第一个高效提供半稠密匹配的模型，利用对粗糙局部描述符依赖的新型匹配细化模块，实现了卓越的性能，并在姿态估计和视觉定位中得到验证。

    Apr, 2024