一个用于改善补丁匹配的大型数据集
提出了一种基于卷积神经网络 (ConvNet) 的方法,用于学习本地图像描述符,可用于显着改善补丁匹配和三维重建,该方法使用多分辨率 ConvNets 学习关键点描述符,并且提出了一个新的数据集,包含比当前可用的 Multi-View Stereo(MVS)数据集更多的图像和正负对应物,并且在视角,尺度和光照变化方面具有更好的覆盖范围。该文对基于提出的描述符学习的补丁匹配和三维重建任务进行了评估,实验结果表明,在评价任务中,提出的描述符优于当前现有的最先进描述符。
Jan, 2017
本研究介绍了 BlendedMVS,一个新颖的数据集,用于为基于学习的 Multi-View Stereo(MVS)提供足够的训练样本,从而提高训练模型的泛化能力。对于创建这个数据集,我们使用 3D 重建管道从精选的场景图像中恢复高质量的纹理网格,然后将这些网格模型渲染为彩色图像和深度地图。
Nov, 2019
本研究提出了一种新的基准测试,旨在评估本地图像描述符,在引入了一个适合训练和测试现代描述符的新大型数据集的基础上,我们介绍了严格定义的评估协议,以便在不同应用场景中进行更现实和可靠的比较,我们评估了几种最先进的描述符的性能,并分析了其性质。
Apr, 2017
在本文中,我们提出了一种弹性且有效的多视角立体匹配方法(MP-MVS),该方法利用多尺度窗口 PatchMatch(mPM)获得非纹理区域的可靠深度,并通过改进的棋盘格采样方案和改进的平面先验辅助 PatchMatch(ACMP)来提高立体匹配的准确性和效率。
Sep, 2023
该研究提出了一种新的评估协议,可对大量图像上的本地特征检测器进行综合评估,使用 HPatches 数据集评估了许多本地特征检测器的视角和光照不变性检测,与以往相比,该研究的图像数量更多,结果更具鲁棒性,同时也表明传统检测器在与最近的深度学习替代方案相比时仍然具有很高的竞争力。
Jul, 2018
本文提出了一种基于强化学习的端到端可训练 PatchMatch 多视角立体视觉方法,实现像素级别深度、法向量的估计,并将其与可训练损失和正则化相结合以解决在深度范围大、视角差距大的场景下的深度估计问题。实验结果表明,该方法在 ETH3D 数据集上表现优异,甚至超过其他最新的基于学习的 MVS 模型。
Aug, 2021
我们提出了一个新颖的高分辨率、充满挑战性的立体数据集,并给出了密集准确的视差地面真值标注。该数据集独特之处在于存在一些具有镜面反射和透明性质的表面,这是当前立体网络失败的主要原因。我们的获取方法采用了一个新颖的深度时空立体框架,可以实现子像素精度的简单准确标注。我们释放了总共 419 个样品,收集自 64 个不同的场景并标注了密集的地面真值视差。每个样本包括一个高分辨率成对图像 (12 Mpx),以及一个不对称的成对图像 (左边:12 Mpx,右边:1.1 Mpx)。此外,我们提供了手动注释的材质分割掩模和 15K 未标记样本。我们根据我们的数据集评估了最先进的深度网络,强调了它们在解决立体视觉中的开放挑战方面的局限性,并为未来的研究提供了一些线索。
Jun, 2022
本研究旨在解决颜色图像和多光谱图像之间分辨率差异大的问题,提出了一种深度学习架构,并利用自监督学习以及 RGB-RGB 匹配任务的知识来实现跨模态匹配。通过在室内环境下拍摄 13 个场景的图像对,并标注了 34 个具有高分辨率标签的图像对,通过实验证明该方法在使用深度学习进行该任务时性能表现良好。
Jun, 2022
我们提出了 PatchmatchNet—— 一个快速且低内存占用的可学习的级联 Patchmatch 算法,用于高分辨率多视角立体匹配,通过引入可迭代的多尺度 Patchmatch 和自适应传播评估方案,我们改进了核心算法,并在 DTU,Tanks&Temples 和 ETH3D 上进行广泛实验,表明该方法在效率方面具有非常良好的性能和通用性,比现有的最佳模型快至少 2.5 倍,内存使用量减少一半。
Dec, 2020
本文的主要关注点是解决深度特征匹配(DFM)的局限性,通过采用更灵活的最近邻搜索策略并集成图像补丁描述符,扩展了 DFM 的适用范围,同时提出了一种新颖的图像补丁描述符精炼策略,进一步降低了对应匹配的计算复杂度,实验证明我们的方法在实际机器人应用中具有卓越的性能。
Mar, 2024