Jul, 2023

AffineGlue：联合匹配与稳健估计

PDF
TL;DR我们提出了 AffineGlue，这是一种联合两视图特征匹配和鲁棒估计的方法，通过使用单点最小求解器减少问题的组合复杂性。AffineGlue 从一对多的对应中选择潜在匹配项来估计最小模型。引导匹配然后用于发现与模型一致的匹配，避免了一对一匹配的歧义。此外，我们推导出了一种新的最小求解器用于单应性矩阵估计，只需要一个仿射对应和重力先验。此外，我们训练了一个神经网络来排除不太可能导致良好模型的仿射对应。在真实数据集上，AffineGlue 优于 SOTA，即使假设重力方向向下。在 PhotoTourism 上，与 SOTA 相比，AUC@10° 的得分提高了 6.6 个点。在 ScanNet 上，AffineGlue 使 SuperPoint 和 SuperGlue 达到与无检测器的 LoFTR 相似的准确性。
affinegluefeature matchingrobust estimationminimal solversneural network
发现论文，激发创造
  • 使用图神经网络学习特征匹配的 SuperGlue

    本文介绍了 SuperGlue，它是一个神经网络，通过联合找到对应和拒绝不可匹配的点，匹配两组局部特征。我们通过解决可微分的最优传输问题来估算分配，其成本由图神经网络预测。我们引入了一种基于注意力的灵活的上下文聚合机制，使 SuperGlue 能够联合推理基础的三维场景和特征分配。与传统的手动设计启发式技术相比，我们的技术通过从图像对的端到端训练来学习几何变换的先验知识和三维世界的规律性。SuperGlue 在挑战性的现实室内和室外环境中的姿态估计任务中优于其他学习方法，并实现了最先进的结果。所提出的方法可以在现代 GPU 上实时匹配，并可以轻松集成到现代 SfM 或 SLAM 系统中。代码和训练好的模型在 https URL 公开。

    Nov, 2019

  • OmniGlue: 基于基础模型引导的通用特征匹配

    OmniGlue 是第一个以广义化为核心原则设计的可学习图像匹配器，它利用视觉基础模型的广泛知识来指导特征匹配过程，提高对未知图像域的泛化能力，并且通过引入新颖的关键点位置引导的注意机制，分离空间和外观信息，从而实现了出色的匹配描述符。

    May, 2024

  • LightGlue：轻松速配局部特征

    LightGlue 是一种深度神经网络，可以跨图像学习匹配本地特征，并通过多个简单但有效的改进使其更加高效、精确、易于训练，尤其适用于对于视觉重叠度较高或外观变化有限的图像匹配问题，这为 3D 重建等对延迟敏感的应用开启了希望。

    Jun, 2023

  • GlueStick: 基于点线粘合的鲁棒图像匹配

    本文提出一种新的匹配模式，将点、线及其描述符统一成一个单独的框架结构，并提出 GlueStick，一种深度匹配图神经网络，以便从不同的图像中取出两个线框并利用节点之间的连接信息更好地将它们粘合在一起。我们证明了这种匹配策略可以优于当前最先进的独立匹配线段和点的方法，适用于各种数据集和任务。

    Apr, 2023

  • DynamicGlue：使用图神经网络进行时空感知数据关联的动态环境解决方案

    我们提出了一种基于图神经网络的稀疏特征匹配网络，旨在在具有挑战性条件下执行健壮的匹配，并在移动物体上排除关键点，实验结果表明，与最先进的特征匹配网络相比，我们的网络在在静态环境中实现了类似的结果，并且在高度动态的场景中显著提高了 SLAM 系统的性能。

    Mar, 2024

  • 多视角重建中拟合和匹配的联合优化

    本文提出基于赋对问题的多模型匹配能量公式，以及基于最小费用最大流算法的高效求解器，该方法能够显著增加匹配数量，并且可以提高模型拟合精度。

    Mar, 2013

  • 在相机几何计算中实现仿射对应

    本文提出了一种有效使用区域匹配的指导方针，并结合对称强度匹配的局部特征几何形状精炼方法，将不确定性传递到 RANSAC 中，并适应样本手性检查来进行单应性估计；实验结果表明，按照本文提出的指导方针，仿射求解器可以在更快的运行时间内实现与基于点的求解器同样的准确性。

    Jul, 2020

  • 基于仿射变换的可变形注意力和选择性融合用于半密匹配

    本文提出了基于变换器的半密集匹配方法，引入了基于仿射的局部注意力和选择性融合来模拟跨视图变形，并强调了损失设计中的空间平滑性的重要性，通过这些增强方法，我们的网络在不同设置下表现出很强的匹配能力。

    May, 2024

  • 快速准确的关键点匹配的高效线性注意力

    本文提出了一种基于 Transformer 的 3D 视觉应用中的线性注意力机制，通过全局和局部信息聚合进行关键点匹配，同时提出了联合学习来简化和加速特征匹配，最终在几个基准测试中取得了具有竞争力的性能。

    Apr, 2022

  • 局部仿射参考系的最优多视角校正

    通过预估每个图像对之间的极线几何关系，构造一种针对部分仿射协变特征检测器的标准仿射框架校正算法，并验证该算法可用于预处理步骤以提高相机姿态估计、表面法线和单应性矩阵等任务的准确性。

    May, 2019