立体匹配网络的双边网格学习
基于 GhostNet 的 Ghost-Stereo 是一种新颖的端到端立体匹配网络,使用特征增强模块和轻量级聚合模块来提高成本体积质量,从而取得与最先进的实时方法相当的性能,并展现出更好的泛化能力。
May, 2024
提出了 StereoNet,这是第一个端到端实时立体匹配的深度学习架构,在 NVidia Titan X 上以 60fps 运行,产生高质量,边缘保留且无量化的视差图。 该网络具有超像素匹配精度的关键洞见,比传统立体匹配方法高一个数量级,通过使用低分辨率代价体编码所需的所有信息,从而实现实时性。采用学习的边缘感知上采样函数实现空间精度,并使用 Siamese 网络从左右图像提取特征。在非常低的分辨率代价体中计算视差的初步估计,然后模型通过使用紧凑的像素到像素细化网络的学习上采样函数分层地重新引入高频细节。利用颜色输入作为指南,该函数能够产生高质量的边缘感知输出,并在多个基准测试中取得了显着的结果,演示了所提出的方法在可接受的计算预算下提供了极大的灵活性。
Jul, 2018
本文提出了一种新的深度学习立体匹配方法,通过在代价体上增加限制和建立局部基于峰值的单峰分布函数,显式地建模不同环境下的匹配不确定性,从而提高了匹配效果。
Sep, 2019
Double Cost Volume Stereo Matching Network (DCVSMNet) 是一种新颖的架构,具有两个小型的上部(分组)和下部(规范相关)成本体积。每个成本体积分别处理,并提出了一种耦合模块来融合从上部和下部成本体积中提取的几何信息。DCVSMNet 是一种快速的立体匹配网络,推理时间为 67 毫秒,具有强大的泛化能力,与最先进的方法相比,可以产生具有竞争力的结果。在几个基准数据集上的结果显示,DCVSMNet 在较大推理时间成本的情况下实现了比 CGI-Stereo 和 BGNet 等方法更好的准确性。
Feb, 2024
在立体匹配任务中,匹配成本聚合对于准确估计视差在传统方法和深度神经网络模型中都非常重要。本文提出了两个新颖的神经网络层,旨在分别捕捉本地和整个图像成本依赖关系。实验表明,具有两个引导聚合块的网路轻松超越具有十九个 3D 卷积层的 GC-Net 的最新技术水平。我们还训练了一个深度引导聚合网络(GA-Net),其在 Scene Flow 数据集和 KITTI 基准测试上比最先进的方法更准确。
Apr, 2019
本文提出了一种基于学习的方法,通过迭代索引平面扫描成本体积并借助卷积门控循环单元来回归深度图,从而进行多视角深度估计。经过对真实世界多视图数据集的大量实验,验证了该方法在数据集内部性能和跨数据集概括性能方面都达到了最先进水平。
May, 2022
采用新的神经网络结构实现移动图像处理,使用对输入 / 输出图像成对的训练集,预测局部仿射模型的系数,使用新的切片节点对上采样的变换进行边缘保持,对高分辨率图像在智能手机上进行毫秒级的处理,并在大类图像操作中匹配最先进的逼近技术质量。
Jul, 2017
该研究提出了两种轻量级的立体视觉模型,采用 2D 和 3D 卷积进行编解码。研究表明,这两种模型有效地减少了计算开销,同时保持了准确性。
Aug, 2021
本文提出了使用分组相关来构建成本体积,并改进了三维堆叠沙漏网络,以用于立体匹配的深度感知,通过实验证明在 Scene Flow、KITI 2012 和 KITTI 2015 数据集上,该方法优于之前的方法。
Mar, 2019