RoMa:重温稠密特征匹配的鲁棒损失
通过在多个尺度上迭代地探索几何相似性,并使用一种额外的不确定性估计模块进行稀疏化,我们提出了一种名为 RGM(Robust Generalist Matching)的深度模型,用于稀疏和密集匹配。通过生成具有较大间隔的光流监督,我们构建了一个包含稀疏对应关系真值的新的大规模数据集,从而缩小了合成训练样本和真实场景之间的差距。通过在大型混合数据上以两阶段方式学习匹配和不确定性估计,我们显著提高了我们所提出的 RGM 模型的泛化能力。在多个数据集上实现了零样本匹配和下游几何估计的卓越性能,优于先前的方法很多。
Oct, 2023
我们提出了一个在 AISG-SLA 视觉定位挑战竞赛中获得第一名的解决方案,该任务是估计通过一个车载相机在城市场景中连续拍摄的图像之间的相对运动。我们使用我们最近基于深度学习的匹配器 RoMa 对图像进行匹配,并从中样本点进行相对运动估计,取得了非常有竞争力的成绩 - 在挑战竞赛中排名第三。为了提高估计准确度,我们提取图像中的关键点,使用 RoMa 进行匹配,并使用 COLMAP 进行结构运动重建。我们选择最近的 DeDoDe 关键点因其高可重复性。此外,为了解决图像序列中的时间跳跃问题,我们使用 DINOv2 进行图像检索,并匹配特定的非连续图像对。这些改进使我们的解决方案超过了所有竞争对手。我们还通过匹配手动选择的非连续图像对,给出了图像检索方法可达到的精度的上限。
Oct, 2023
本研究提出了一种多图像匹配方法以估计多个图像之间的语义对应关系,并且利用稀疏可靠特征匹配而非优化所有成对对应关系,同时还提出低秩约束来确保整个图像集上的特征一致性。该方法在多图匹配和语义流基准测试中表现优异,同时在不使用任何注释的情况下对重建对象类模型和发现对象类地标具有适用性。
Nov, 2017
评估最近算法在图像匹配及极线几何评估中的表现,并利用它们设计出更实用的注册系统,扩大计算机视觉任务的应用,通过四个大型数据集的实验,提出了三种高质量的匹配系统和粗 - 细 RANSAC 评估器,具有潜在的应用前景。
Aug, 2019
本文介绍了一个用于本地特征与鲁棒估计算法的全面基准测试,旨在通过相机位姿的准确性作为主要指标。我们的管道模块化结构允许易于集成、配置和组合不同的方法和启发式算法。同时我们展示了如何嵌入数十种流行算法进行评估,进而表明经典算法在适当的设置下可能仍能胜过认为的最前沿机器学习研究。此外,我们实验发现一些意想不到的图像匹配解决方案的性质,这有助于改进它们的性能,无论是算法还是机器学习方法。我们提供了一个易于使用和灵活的框架,用于衡量本地特征与鲁棒估计方法,同时与顶级方法进行比较,构建了一个基础性的图像匹配挑战平台。
Mar, 2020
建立可靠的对应关系对于 3D 和 2D3D 对准等任务至关重要。为了解决大变形、尺度不一致和模糊匹配问题所带来的挑战,本文引入了一种用于建立鲁棒对应关系的扩散匹配模型,在双随机矩阵空间内将对应估计视为去噪扩散过程,逐步去噪(细化)双随机匹配矩阵至准确的匹配矩阵,以进行高质量的对应估计。该方法在 3D 和 2D3D 对准任务上的评估验证了其有效性。
Mar, 2024
本文提出一种基于概率方法的鲁棒后端优化方案,通过建立贝叶斯网络模型,利用长尾柯西分布抑制异常点的特征匹配,以及一组二元潜在变量的柯西 - 均匀混合模型同时抑制循环闭合约束中的异常点特征匹配。并在实验中证明了我们的方法在大规模室内和室外数据集上均具有良好的性能表现。
May, 2019
本文通过直接对多个视图中的低级图像信息进行对齐以提高结构运动两个关键步骤的精度,该方法通过采用神经网络预测的密集特征来优化特征度量误差从而提高了相机姿态和场景几何的准确性。
Aug, 2021
通过在 DUSt3R 网络中引入新的头部,并训练密集局部特征以及附加匹配损失,我们改进了匹配能力,同时保持其鲁棒性,取得了显著的结果改进,击败了现有方法,并在多个匹配任务中实现了 30%的绝对改善。
Jun, 2024
在夜间场景、恶劣天气和季节变化等苛刻条件下进行视觉定位是一项具有挑战性的任务。本研究提出了一种新颖的定位方法,通过提取可靠的半稠密的 2D-3D 匹配点来改进相机位姿估计的准确性,即使在噪声场景中也能取得显著的成果。
Feb, 2024