Jan, 2022

全局 - 局部路径网络与竖向分割深度用于单目深度估计

PDF
TL;DR该研究提出了一种新的深度估计结构和训练策略，使用层次变压器编码器来捕获全局上下文，并设计轻量级但强大的解码器来生成估计的深度图，通过构建连接不同尺度的局部特征和全局解码流之间的连接路径，在分层特征融合模块的作用下，网络可以综合两种表示形式并恢复细节信息。与以往的解码器相比，本文提出的解码器具有更好的性能和更少的计算复杂度，并利用深度估计中的重要观察来改善深度特定的数据增强方法，网络在深度数据集 NYU Depth V2 上达到了最先进的性能，并表现出比其他模型更好的泛化能力和鲁棒性。
发现论文，激发创造
  • 从大到小：多尺度局部平面引导单目深度估计

    本文介绍了一种网络架构，利用位于解码阶段多个阶段的新型本地平面指导层来更有效地引导密集编码特征以进行所需的深度预测， 并在具有挑战性的基准测试中通过消融研究证明所提出的方法优于最先进的作品。

    Jul, 2019

  • 利用过完备局部网络的协调作用从一张图像中获取深度

    使用神经网络对本地场景几何结构进行建模，通过对不同阶、方向和比例下的深度导数进行概率分布预测，采用全球化处理方法获得一个一致性深度图以解决深度估计中的歧义。

    May, 2016

  • 使用多尺度深度网络从单张图片预测深度图

    本文提出了一种新的方法，利用两个深度网络堆栈来解决单张图像深度估计的问题，并应用尺度不变误差来测量深度关系，通过利用原始数据集作为大量训练数据，方法在 NYU Depth 和 KITTI 上实现了最先进的结果。

    Jun, 2014

  • 基于迁移学习的高质量单目深度估计

    本文提出了一种基于卷积神经网络的深度估计方法，结合迁移学习使用高性能网络初始化编码器以及增强和训练策略以获得更准确的结果，结果表明，即使是非常简单的解码器，我们的方法也能够产生细节详尽的高分辨率深度图像。

    Dec, 2018

  • MVDepthNet: 实时多视角深度估计神经网络

    本文提出 MVDepthNet，在多视图深度估计中编码多视图观察信息，并结合参考图像使用编码器 - 解码器网络生成深度图，并在单目密集映射系统中应用，实现了高效准确的深度图生成。

    Jul, 2018

  • 深度邻居层聚合轻量级自监督单目深度估计

    我们提出了一种全卷积深度估计网络，利用上下文特征融合，采用高分辨率和低分辨率特征来保留小目标和高速移动物体的信息，进一步在解码器阶段采用基于卷积的轻量级通道注意力来优化深度估计结果，降低参数数量同时保持准确性。

    Sep, 2023

  • DepthFormer：利用长程相关性和局部信息进行准确的单眼深度估计

    该研究提出了一种基于 Transformer 和 CNN 特征组合的分层聚合模型，以解决有监督单目深度估计的问题，实验结果表明，该模型在 KITTI、NYU 和 SUN RGB-D 等数据集上均超越了现有的有监督单目深度估计方法，特别是在 KITTI 深度估计基准测试上实现了最具竞争力的结果。

    Mar, 2022

  • 使用极线时空网络的多视角深度估计

    本文提出了一种针对多视角深度估计的新方法，使用 Epipolar 时空变换器和混合专家模型，实现与 SOTA 方法相比更高的估计精度和速度。

    Nov, 2020

  • 神经网络如何从单张图像中感知深度？

    本研究通过对 Godard 等人开发的 MonoDepth 网络的分析，探究其利用视觉线索进行深度估计的技术特性，并发现该网络忽略已知障碍物的表面大小，而是利用其在图像中的垂直位置进行深度估计，但也有一定局限性。研究进一步表明，MonoDepth 使用垂直图像位置的技术特性能够估计到任意障碍物的距离，但对于障碍物的下边缘必须有有效的边缘信息。

    May, 2019

  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023