Jan, 2024

MESA: 匹配一切通过分割任何物体

PDF
TL;DR在计算机视觉领域中，特征匹配是一项至关重要的任务，先前的研究在使用基于学习的特征对比时取得了显著的性能。然而，图像之间存在的匹配冗余普遍导致这些方法中的不必要和容易出错的计算，限制了其准确性。为了解决这个问题，我们提出了 MESA，一种用于减少匹配冗余的建立精确区域匹配的新方法。MESA 首先利用 SAM 的先进图像分割模型的图像理解能力，获得具有隐含语义的图像区域。然后，提出了一个多关系图来建模这些区域的空间结构并构建它们的尺度层次结构。基于从图中得出的图形模型，将区域匹配重新定义为能量最小化任务并有效解决。大量实验证明，在室内和室外下游任务中，如室内位姿估计中的 DKM，MESA 为多点匹配器提供了显著的精度改进，例如室内位姿估计中的 + 13.61%。
发现论文，激发创造
  • 多图像基于一致特征挖掘的语义匹配

    本研究提出了一种多图像匹配方法以估计多个图像之间的语义对应关系，并且利用稀疏可靠特征匹配而非优化所有成对对应关系，同时还提出低秩约束来确保整个图像集上的特征一致性。该方法在多图匹配和语义流基准测试中表现优异，同时在不使用任何注释的情况下对重建对象类模型和发现对象类地标具有适用性。

    Nov, 2017

  • 通过分割实现任意事物的匹配

    基于对象分割以及数据转换的鲁棒实例关联学习方法，与通用 MASA 适配器相结合，可以在复杂环境中实现零样本追踪能力。

    Jun, 2024

  • 场景感知特征匹配

    该研究提出了一种名为 SAM 的新模型，应用注意力分组指导场景感知特征匹配，处理具有大视角和光照变化等挑战性场景。通过引入感知感觉的分组指导，该模型不仅更准确和稳健，而且更易解释，实现了最先进的性能。

    Aug, 2023

  • 从区域到点的搜索：面向语义几何特征匹配的层次框架

    本文介绍了一种基于面积匹配的层次型特征匹配框架：A2PM，通过先找到图像间语义区域匹配，再在区域匹配上执行点匹配，将搜索空间设置为具有显著特征的区域匹配，从而实现高匹配精度，并使用语义和几何区域匹配方法（SGAM）来建立精确无误的区域匹配。通过将 SGAM 与现有的 Transformer-based 匹配器结合使用，我们的特征匹配方法在大规模点匹配和姿态估计实验中取得了令人鼓舞的精确度改进。

    Apr, 2023

  • 语义跨视图匹配

    本研究提出了一种自动检测和表示 RGB 图像语义信息的方法，以实现与非 RGB 地理信息系统（GIS）进行跨视图匹配，利用由语义概念（如交通标志、湖泊、道路、植被等）分配的图像分割区域进行描述符的设计和匹配。实验证明此方法有效。

    Oct, 2015

  • 区域感知分布对比：一种新的多任务部分监督学习方法

    多任务密集预测的研究中，我们通过引入 Segment Anything Model (SAM) 和基于高斯分布的区域表示，解决了部分标注数据、局部对齐和跨任务关系等挑战，提高了在部分监督多任务密集预测场景中的性能。

    Mar, 2024

  • 基本矩阵估计中特征匹配算法评估

    评估最近算法在图像匹配及极线几何评估中的表现，并利用它们设计出更实用的注册系统，扩大计算机视觉任务的应用，通过四个大型数据集的实验，提出了三种高质量的匹配系统和粗 - 细 RANSAC 评估器，具有潜在的应用前景。

    Aug, 2019

  • 多视角重建中拟合和匹配的联合优化

    本文提出基于赋对问题的多模型匹配能量公式，以及基于最小费用最大流算法的高效求解器，该方法能够显著增加匹配数量，并且可以提高模型拟合精度。

    Mar, 2013

  • 一种基于语义分割的地空图像匹配方法

    该论文提出了一种基于语义分析的方法，通过比较地面图像与卫星图像的特征，结合语义分割掩模，实现无 GPS 数据的查询地理定位，并在不同视场上通过对 CVUSA 数据集进行测试表明该方法提升了性能。

    Apr, 2024

  • Segment Anything Model 是学习局部特征的好教师

    SAMFeat 通过引入 SAM（segment anything model）作为教师模型，利用像素级对齐关系和语义信息，改进本地特征描述和检测的性能，展现了在不同任务中的优越性能。

    Sep, 2023