ECCVJul, 2018

StereoNet: 实时边缘感知深度预测的引导分层细化

PDF
TL;DR提出了 StereoNet，这是第一个端到端实时立体匹配的深度学习架构，在 NVidia Titan X 上以 60fps 运行，产生高质量，边缘保留且无量化的视差图。 该网络具有超像素匹配精度的关键洞见，比传统立体匹配方法高一个数量级，通过使用低分辨率代价体编码所需的所有信息，从而实现实时性。采用学习的边缘感知上采样函数实现空间精度，并使用 Siamese 网络从左右图像提取特征。在非常低的分辨率代价体中计算视差的初步估计，然后模型通过使用紧凑的像素到像素细化网络的学习上采样函数分层地重新引入高频细节。利用颜色输入作为指南，该函数能够产生高质量的边缘感知输出，并在多个基准测试中取得了显着的结果，演示了所提出的方法在可接受的计算预算下提供了极大的灵活性。
stereonetdeep architecturereal-time stereo matchingsub-pixel matching precisionsiamese network
发现论文，激发创造
  • HITNet：用于实时立体匹配的分层迭代瓷砖细化网络

    本文提出了 HITNet，一种新型神经网络结构，用于实时立体匹配。该算法使用多分辨率初始化步骤、可微 2D 几何传播和变形机制推断差异假设，是一种具有高灵敏度的架构，可在多个分类指标上获得最好的表现。

    Jul, 2020

  • 高分辨率图像上的分层深度立体匹配

    我们提出了一种端到端的框架，通过逐层搜索相应关系来解决高分辨率图像上的实时立体匹配问题，利用所提出的数据集进行训练和评估并在速度上超过竞争对手 ，能够在低延迟（30 毫秒）内准确预测近距离结构的视差，所提出的层次结构设计可以灵活地平衡性能与速度，用于自动驾驶等时间关键的应用。

    Dec, 2019

  • StereoDRNet：扩张残差立体网

    提出了一种使用卷积神经网络（CNN）从立体图像估计深度，利用预测的深度图进行体积融合，进而恢复场景的三维重建方法，该方法采用了新的深度细化架构，实现了先进成本滤波架构成本的近半降低，采用风暴池架构进行特征提取，该方法在多个基准数据集上均取得了领先的成果。

    Apr, 2019

  • 实时语义立体匹配

    研究表明，语义立体匹配比独立任务能更好地了解机器人、自我导航、增强现实等领域的场景理解。本文提出了一种单一的紧凑型和轻量级架构，通过多阶段的自上而下的估算，使得在任何硬件上和任何应用中都可以获得非常快速的推理，并对特定的应用要求进行准确度和速度的权衡。

    Oct, 2019

  • EdgeStereo：一种上下文整合残差金字塔网络，用于立体匹配

    本文提出了一种多任务网络 EdgeStereo，由一个背景视差网络和一个边缘子网络组成，通过设计上下文金字塔来编码多尺度上下文信息，并通过特征嵌入和基于边缘感知的光滑度损失正则化来融合边缘线索。经过实验证明，立体匹配和边缘检测可以相互帮助，并且该方法在 KITTI 立体和 Scene Flow 基准测试中均取得了最佳性能。

    Mar, 2018

  • EdgeStereo：用于立体匹配和边缘检测的有效多任务学习网络

    深度立体匹配网络结合边缘检测网络，构成一种多任务学习网络，其中边缘线索提供了出色的线索，以实现细节区域的视差估计精度的提高，并获得 state-of-the-art 的表现。

    Mar, 2019

  • 实时自适应深度立体匹配

    通过采用 Modularly ADaptive Network (MADNet) 和 Modular ADaptation (MAD) 算法，本文提出了一种具有实时自适应功能的深度立体系统，能够在异构数据集上实现卓越的性能表现。

    Oct, 2018

  • Du$^2$Net: 双摄像头和双像素深度估计模型学习

    本文提出了一种基于神经网络的方法，将双目摄像机的立体匹配与双像素传感器的立体匹配相结合，以实现精准的景深图像，避免了前人研究中存在的模糊和匹配错误等问题，该方法对计算机摄影应用具有重要意义。

    Mar, 2020

  • 使用二维卷积处理代价签名的快速深度立体匹配

    本文提出一种基于传统匹配成本的快速深度估计网络，该网络仅使用每个像素和二维卷积操作来总结每个位置的匹配信息，并以低维特征向量的形式生成密集的视差图，在保证准确度的同时，相较于其他算法显著加快了处理速度。

    Mar, 2019

  • 噪声感知的无监督深度 LiDAR-Stereo 融合

    本文提出了 LidarStereoNet，是第一个可以在端到端的未经监督训练的融合网络，无需地面真实深度图。我们通过引入新颖的 “反馈循环” 来连接网络输入与输出，并进一步将分段平面模型结合到网络学习中，以进一步约束深度与底层 3D 几何形状相一致，从而在现实和合成数据集上表现出显著的优越性，比现有的立体匹配、深度完成和 Lidar-Stereo 融合方法取得了更好的效果。

    Apr, 2019