CVPRNov, 2019

使用图神经网络学习特征匹配的 SuperGlue

PDF
TL;DR本文介绍了 SuperGlue，它是一个神经网络，通过联合找到对应和拒绝不可匹配的点，匹配两组局部特征。我们通过解决可微分的最优传输问题来估算分配，其成本由图神经网络预测。我们引入了一种基于注意力的灵活的上下文聚合机制，使 SuperGlue 能够联合推理基础的三维场景和特征分配。与传统的手动设计启发式技术相比，我们的技术通过从图像对的端到端训练来学习几何变换的先验知识和三维世界的规律性。SuperGlue 在挑战性的现实室内和室外环境中的姿态估计任务中优于其他学习方法，并实现了最先进的结果。所提出的方法可以在现代 GPU 上实时匹配，并可以轻松集成到现代 SfM 或 SLAM 系统中。代码和训练好的模型在 https URL 公开。
superglueneural networkcorrespondencesoptimal transport3d scene
发现论文，激发创造
  • LightGlue：轻松速配局部特征

    LightGlue 是一种深度神经网络，可以跨图像学习匹配本地特征，并通过多个简单但有效的改进使其更加高效、精确、易于训练，尤其适用于对于视觉重叠度较高或外观变化有限的图像匹配问题，这为 3D 重建等对延迟敏感的应用开启了希望。

    Jun, 2023

  • AffineGlue：联合匹配与稳健估计

    我们提出了 AffineGlue，这是一种联合两视图特征匹配和鲁棒估计的方法，通过使用单点最小求解器减少问题的组合复杂性。AffineGlue 从一对多的对应中选择潜在匹配项来估计最小模型。引导匹配然后用于发现与模型一致的匹配，避免了一对一匹配的歧义。此外，我们推导出了一种新的最小求解器用于单应性矩阵估计，只需要一个仿射对应和重力先验。此外，我们训练了一个神经网络来排除不太可能导致良好模型的仿射对应。在真实数据集上，AffineGlue 优于 SOTA，即使假设重力方向向下。在 PhotoTourism 上，与 SOTA 相比，AUC@10° 的得分提高了 6.6 个点。在 ScanNet 上，AffineGlue 使 SuperPoint 和 SuperGlue 达到与无检测器的 LoFTR 相似的准确性。

    Jul, 2023

  • DynamicGlue：使用图神经网络进行时空感知数据关联的动态环境解决方案

    我们提出了一种基于图神经网络的稀疏特征匹配网络，旨在在具有挑战性条件下执行健壮的匹配，并在移动物体上排除关键点，实验结果表明，与最先进的特征匹配网络相比，我们的网络在在静态环境中实现了类似的结果，并且在高度动态的场景中显著提高了 SLAM 系统的性能。

    Mar, 2024

  • OmniGlue: 基于基础模型引导的通用特征匹配

    OmniGlue 是第一个以广义化为核心原则设计的可学习图像匹配器，它利用视觉基础模型的广泛知识来指导特征匹配过程，提高对未知图像域的泛化能力，并且通过引入新颖的关键点位置引导的注意机制，分离空间和外观信息，从而实现了出色的匹配描述符。

    May, 2024

  • GlueStick: 基于点线粘合的鲁棒图像匹配

    本文提出一种新的匹配模式，将点、线及其描述符统一成一个单独的框架结构，并提出 GlueStick，一种深度匹配图神经网络，以便从不同的图像中取出两个线框并利用节点之间的连接信息更好地将它们粘合在一起。我们证明了这种匹配策略可以优于当前最先进的独立匹配线段和点的方法，适用于各种数据集和任务。

    Apr, 2023

  • SuperGLUE: 通用语言理解系统的更粘性基准测试

    本文介绍了新的预训练和迁移学习模型和方法在语言理解任务中取得显着性能提升，提出了一个新的基准测试 SuperGLUE，在 GLUE 基准测试的基础上增加难度更大的语言理解任务、一个软件工具包和公开排行榜，可在 super.gluebenchmark.com 上获取。

    May, 2019

  • 用于学习图结构对象相似性的图匹配网络

    本文提出了两个关键性贡献：首先是演示了图神经网络如何训练并嵌入向量空间，以便有效地进行相似性推理；其次是提出了一种新的图匹配网络模型，通过新的跨图注意力匹配机制，在一对图之间共同推理，计算它们之间的相似度得分。在不同领域的实验分析表明，本文提出的模型不仅能够在相似性学习的上下文中利用结构，而且能够优于针对此类问题精心设计的基线系统。

    Apr, 2019

  • 俄语 SuperGLUE 1.1：修正俄语 NLP 模型未吸取的教训

    该论文介绍了俄语 SuperGLUE 1.1，这是一个基于 GLUE 风格的更新版基准测试，专为俄语 NLP 模型设计。新版包括了各种技术、用户体验和方法论的改进，并提升了基准测试工具包，以支持各种架构的 NLP 模型。同时，作者还将 SuperGLUE 整合到开源模型的产业评估框架 MOROCCO 中，以加权平均指标、推理速度和占用内存等多种指标来评估模型的性能。

    Feb, 2022

  • SG-PGM: 3D 场景图对齐的语义几何融合的部分图匹配网络及其下游任务

    3D 场景图对齐是一个部分的图匹配问题，我们提出了使用图神经网络来解决它，通过将点云注册方法学习的几何特征与节点级语义特征关联，实现了部分匹配，并通过运行预训练的注册网络在匹配区域内实现了点云注册等下游任务。我们还提出了一种点匹配重新评分方法，利用 3D 场景图的节点对齐重新调整预训练点云注册方法的匹配候选项，特别是在低重叠情况下，减少了错误的点对应估计。实验证明，我们的方法在低重叠和随机变换情况下将对齐精度提高了 10~20%，在多个下游任务中优于现有方法。

    Mar, 2024

  • 带种子图匹配网络的特征匹配学习

    本研究提出了一种用于图像配准的种子图匹配网络，该网络采用了稀疏结构和三种新的消息传递操作，包括关注汇集，种子滤波和关注展开，以提高准确性和效率，并在计算和存储复杂性方面表现出竞争力或更高性能。

    Aug, 2021