HITNet:用于实时立体匹配的分层迭代瓷砖细化网络
提出了 StereoNet,这是第一个端到端实时立体匹配的深度学习架构,在 NVidia Titan X 上以 60fps 运行,产生高质量,边缘保留且无量化的视差图。 该网络具有超像素匹配精度的关键洞见,比传统立体匹配方法高一个数量级,通过使用低分辨率代价体编码所需的所有信息,从而实现实时性。采用学习的边缘感知上采样函数实现空间精度,并使用 Siamese 网络从左右图像提取特征。在非常低的分辨率代价体中计算视差的初步估计,然后模型通过使用紧凑的像素到像素细化网络的学习上采样函数分层地重新引入高频细节。利用颜色输入作为指南,该函数能够产生高质量的边缘感知输出,并在多个基准测试中取得了显着的结果,演示了所提出的方法在可接受的计算预算下提供了极大的灵活性。
Jul, 2018
本研究提出了一种三步改进的立体匹配管道,其中包括了基于多级加权残差快捷方式的高速公路网络结构,用于计算每个可能差异的匹配成本,并引入了新的后处理步骤,旨在处理全局信息结合的图像不确定性,从而提高异常点检测的性能,并在现有技术上实现了最新的性能。
Dec, 2016
我们提出了一种端到端的框架,通过逐层搜索相应关系来解决高分辨率图像上的实时立体匹配问题,利用所提出的数据集进行训练和评估并在速度上超过竞争对手 ,能够在低延迟(30 毫秒)内准确预测近距离结构的视差,所提出的层次结构设计可以灵活地平衡性能与速度,用于自动驾驶等时间关键的应用。
Dec, 2019
提出了一种使用卷积神经网络(CNN)从立体图像估计深度,利用预测的深度图进行体积融合,进而恢复场景的三维重建方法,该方法采用了新的深度细化架构,实现了先进成本滤波架构成本的近半降低,采用风暴池架构进行特征提取,该方法在多个基准数据集上均取得了领先的成果。
Apr, 2019
我们提出了 PatchmatchNet—— 一个快速且低内存占用的可学习的级联 Patchmatch 算法,用于高分辨率多视角立体匹配,通过引入可迭代的多尺度 Patchmatch 和自适应传播评估方案,我们改进了核心算法,并在 DTU,Tanks&Temples 和 ETH3D 上进行广泛实验,表明该方法在效率方面具有非常良好的性能和通用性,比现有的最佳模型快至少 2.5 倍,内存使用量减少一半。
Dec, 2020
本文提出了一个双目立体匹配中第一个基于任务特定的人类知识的端对端分层神经架构搜索框架,通过优化整个管道的架构,我们的搜索网络优于所有现有的深度立体匹配结构,在多个基准测试中排名前 1,并在网络规模和推理速度上作出了实质性的改进。
Oct, 2020
本文提出了迭代单应性网络(IHN),一种新的深度学习单应性估计架构,通过可训练的迭代器和多尺度方法可以实现对静态场景和动态场景中移动目标的高精度估计。实验表明,IHN 可以实现 95%的误差减少和 32.7fps 的处理速度。
Mar, 2022
通过采用 Modularly ADaptive Network (MADNet) 和 Modular ADaptation (MAD) 算法,本文提出了一种具有实时自适应功能的深度立体系统,能够在异构数据集上实现卓越的性能表现。
Oct, 2018
本文提出了三种多尺度相似性学习结构,使用对比损失函数学习像素级匹配,实现对场景几何形态的无关性。基于深度学习,通过学习与分配匹配像素对,建立了混合和端到端方法之间的平衡。同时,文章还探讨了如何通过样本挖掘提高预测相似度的整体稳健性和较好的性能表现,并在航空和卫星数据集上进行了实验,结果表明 DeepSim 网络优于混合方法和端到端方法,并且更好地适用于未见过的场景几何形态。该灵活的体系结构可以轻松地应用于标准的多分辨率图像匹配管道。
Apr, 2023
深度立体匹配网络结合边缘检测网络,构成一种多任务学习网络,其中边缘线索提供了出色的线索,以实现细节区域的视差估计精度的提高,并获得 state-of-the-art 的表现。
Mar, 2019