高分辨率图像上的分层深度立体匹配
提出了 StereoNet,这是第一个端到端实时立体匹配的深度学习架构,在 NVidia Titan X 上以 60fps 运行,产生高质量,边缘保留且无量化的视差图。 该网络具有超像素匹配精度的关键洞见,比传统立体匹配方法高一个数量级,通过使用低分辨率代价体编码所需的所有信息,从而实现实时性。采用学习的边缘感知上采样函数实现空间精度,并使用 Siamese 网络从左右图像提取特征。在非常低的分辨率代价体中计算视差的初步估计,然后模型通过使用紧凑的像素到像素细化网络的学习上采样函数分层地重新引入高频细节。利用颜色输入作为指南,该函数能够产生高质量的边缘感知输出,并在多个基准测试中取得了显着的结果,演示了所提出的方法在可接受的计算预算下提供了极大的灵活性。
Jul, 2018
该研究介绍了一种基于单目深度估计,使用错误匹配视差地图训练立体匹配网络的方法,无需真实深度或手动设计人工数据即可将任何 RGB 图像列表转换为立体训练数据,并在 KITTI、ETH3D 和 Middlebury 等数据集上表现出色。
Aug, 2020
实时立体匹配是许多扩展现实(XR)应用的基础算法,本研究介绍了一个包含室内场景的真实视频立体合成数据集,并提出了一种在低功耗设备上实现高准确度实时深度推测的新方法。
Sep, 2023
研究表明,语义立体匹配比独立任务能更好地了解机器人、自我导航、增强现实等领域的场景理解。本文提出了一种单一的紧凑型和轻量级架构,通过多阶段的自上而下的估算,使得在任何硬件上和任何应用中都可以获得非常快速的推理,并对特定的应用要求进行准确度和速度的权衡。
Oct, 2019
本文提出了 HITNet,一种新型神经网络结构,用于实时立体匹配。该算法使用多分辨率初始化步骤、可微 2D 几何传播和变形机制推断差异假设,是一种具有高灵敏度的架构,可在多个分类指标上获得最好的表现。
Jul, 2020
本文提出了一种分解模型来解决在分辨率提高时计算成本(时间和内存成本)过高的立体匹配问题,该模型仅在很低的分辨率下运行密集匹配,使用不同的高分辨率下的稀疏匹配来逐步恢复失去细节的视差,并通过一个有遮挡感知掩码迭代地融合相邻尺度上的稀疏和密集视差图,同时应用细化网络来改善融合结果,相比高性能方法如 PSMNet 和 GANet,我们的方法在获得可比较的视差估计结果时提高了 $10 - 100 imes$ 的速度。
Apr, 2021
本文采用最大后验概率方法将低分辨率深度数据与高分辨率立体数据相结合,通过层次求解一系列局部能量最小化问题来产生深度图。通过新的相关函数、自适应成本聚合步骤以及基于场景纹理和摄像机几何的自适应融合方法,提出了一种精度更高的种子生长方法,避免了传播错误视差的倾向。该方法是高效的,可在标准台式计算机上以 3 FPS 的速度运行,并通过与现有方法的定量比较和实际深度 - 立体数据集的定性比较,证明了其强大的性能。
Dec, 2020
本研究提出了一种高性能和可调谐的立体视差估计方法,其关键是通过半稠密重建的快速深度验证步骤,通过迭代逼近场景深度,构建由立体形象生成的多面平坦网格。该方法的简单性和速度以及可调谐的重建质量和运行时性能使其成为高速车辆应用的一个引人注目的解决方案。
Nov, 2015
本论文提出了一种新的导向立体匹配方法,利用来自外部源的少量稀疏但可靠的深度测量来提高现有深度学习模型在处理新环境时的准确性和鲁棒性,并证明此方法适用于传统的立体匹配算法,并且即使只输入少量稀疏数据,对现有模型的性能也有显著提升。
May, 2019