GLAMpoints: 贪心学习精确匹配点
该研究论文提出一种嵌入完整视觉流水线中的特征检测器训练方法,通过强化学习的原则克服关键点选择和描述符匹配的离散性,并通过实验表明该方法可以提高基于学习的特征检测器在任务中的准确性。
Dec, 2019
我们提出了一种新颖的学习关键点检测方法,用于增加非刚性图像对应任务中正确匹配数目。通过利用使用指定描述符提取器匹配注释图像对获得的真实对应关系,我们训练了一个端到端的卷积神经网络(CNN)来寻找更适合所考虑描述符的关键点位置。为此,我们对图像应用几何和光度变换来生成监督信号,从而优化检测器。实验证明,我们的方法在与我们的检测方法结合使用时,可以提高多个描述符的均值匹配精度,并且在非刚性对象的真实图像上优于最先进的关键点检测器 20 个百分点。我们还将我们的方法应用于复杂的现实世界的物体检索任务中,我们的检测器在这个任务上的性能与当前可用的最佳关键点检测器相当。源代码和训练好的模型可以在此 URL 上公开获取。
Sep, 2023
本文提出了一种利用神经网络进行无监督学习的方法,通过在变换不变的情况下对兴趣点进行排名,采用排名的前 / 后分位数提取兴趣点,证明其在标准 RGB 图像和 RGB 与深度图像间的兴趣点检测任务中具有更好的性能。
Nov, 2016
本文提出了一种自监督框架,用于训练适用于计算机视觉中大量多视图几何问题的兴趣点检测器和描述符。通过引入多尺度、多单应性方法的 Homographic Adaptation,我们的模型通过训练于 MS-COCO 数据集,能够相对于其他传统角点检测器和深度模型,检测到更丰富的兴趣点,并在 HPatches 上取得了最先进的单应性估计结果。
Dec, 2017
LightGlue 是一种深度神经网络,可以跨图像学习匹配本地特征,并通过多个简单但有效的改进使其更加高效、精确、易于训练,尤其适用于对于视觉重叠度较高或外观变化有限的图像匹配问题,这为 3D 重建等对延迟敏感的应用开启了希望。
Jun, 2023
本研究引入了一种基于 CNN 内部信息的新型特征检测器,检测器的信息从特征图与输入图像的梯度计算获得,能够生成显著性地图和相关关键点,无需监督训练,和专门的 feature detector 性能相似。
Jul, 2019
本文介绍了 SuperGlue,它是一个神经网络,通过联合找到对应和拒绝不可匹配的点,匹配两组局部特征。我们通过解决可微分的最优传输问题来估算分配,其成本由图神经网络预测。我们引入了一种基于注意力的灵活的上下文聚合机制,使 SuperGlue 能够联合推理基础的三维场景和特征分配。与传统的手动设计启发式技术相比,我们的技术通过从图像对的端到端训练来学习几何变换的先验知识和三维世界的规律性。SuperGlue 在挑战性的现实室内和室外环境中的姿态估计任务中优于其他学习方法,并实现了最先进的结果。所提出的方法可以在现代 GPU 上实时匹配,并可以轻松集成到现代 SfM 或 SLAM 系统中。代码和训练好的模型在 https URL 公开。
Nov, 2019
本文提出了一种基于两个深度卷积神经网络的点追踪系统,MagicPoint 网络能够从单张图像中提取显著的 2D 点,并针对图像噪声设计了 MagicWarp 网络用于点位置的变换估计,两个网络均使用简单的合成数据训练,使系统速度快且高效。
Jul, 2017
本文提出了一种基于密集神经算法的同步定位与建图方法,使用深度学习生成的点云来锚定神经场景的特征,通过最小化基于 RGBD 的重新渲染损失,实现对跟踪和地图绘制的同时处理,通过在信息密度低的区域减少运行时间和内存使用,并将更高的点密度分配给解决更细节问题。在 Replica,TUM-RGBD 和 ScanNet 数据集上相对于现有的神经 RGBD SLAM 方法获得了更好或相似的跟踪,地图和渲染准确性。
Apr, 2023
本文介绍了一种基于无监督深度学习的兴趣点检测器和描述器 - UnsuperPoint。使用自监督方法,使用孪生网络和一种新的损失函数,允许兴趣点得分和位置自动学习。而且,该模型不需要生成伪真实点,也不需要从运动中生成的表示,并且只需要一轮训练即可学习。此外,还引入了一种新的损失函数,以使网络预测均匀分布。UnsuperPoint 在 $224 imes320$ 和 $480 imes640$ 分辨率下可以实现每秒 323 帧和 90 帧的实时运行,并在速度、可重复性、定位、匹配得分和单应估计表现方面与最先进的性能相当或更好,在 HPatch 数据集上取得了良好的表现。
Jul, 2019