Jul, 2023

FS - 深度：从一幅未见室内场景的单幅图像中估计焦点和尺度深度

PDF
TL;DR我们开发了一种焦距和比例尺深度估计模型，能够从单个图像中准确学习未见过的室内场景的绝对深度图。我们通过采用相对深度估计网络学习相对深度和多尺度特征，并将它们与绝对深度估计网络一起输入，从而显著提高了深度估计的泛化能力，在三个未见过的数据集上比起其他五个最先进的深度估计模型，我们的模型将波动率均方根误差 (RMSE) 降低了 41%/13%，并且有效缓解了三维重建中的变形问题，同时也能保持对原始数据集的深度估计准确性。
depth estimationindoor scenesfocal lengthscale-ambiguous problemgeneralization ability
发现论文，激发创造
  • 使用多尺度深度网络从单张图片预测深度图

    本文提出了一种新的方法，利用两个深度网络堆栈来解决单张图像深度估计的问题，并应用尺度不变误差来测量深度关系，通过利用原始数据集作为大量训练数据，方法在 NYU Depth 和 KITTI 上实现了最先进的结果。

    Jun, 2014

  • 朝着零样本比例感知单目深度估计的方向

    本文提出了一种称为 ZeroDepth 的单目深度估计框架，采用输入级几何嵌入和变分潜在表示，并将编码器和解码器阶段解耦合，可以在不同域和相机参数的情况下预测任意测试图像的尺度。在户内（NYUv2）和户外（KITTI，DDAD，nuScenes）基准测试中，使用相同的预训练模型取得了最新的最佳成果，优于基于域内数据训练和需要测试时缩放以产生度量估计的方法。

    Jun, 2023

  • 单张图像深度估计训练

    使用深度焦点提示为基础，基于点扩散函数卷积层的无监督学习深度估计方法能在多个数据集上优于其他无监督方法和与 KITTI 和 Make3D 数据集中的监督方法效果相当，并且与数据集无关.

    Jan, 2020

  • F^2Depth: 自监督室内单目深度估计基于光流一致性和特征图合成

    提出了一种自监督室内单目深度估计框架 F^2Depth，利用自监督光流估计网络对深度学习进行监督，结合经过精调的光流估计网络产生的多尺度特征图进行特征图融合损失计算，实验结果表明该框架及其提出的损失函数具有较好的室内场景单目图像泛化能力。

    Mar, 2024

  • FSNet: 为自主驾驶重新设计自监督单目深度估计以进行全尺度深度预测

    研究提出了一种综合的自我监督框架，利用惯性测量得到的帧间姿势，在自动驾驶场景中准确预测深度，特别是引入了一种全尺度深度预测网络 FSNet，对现有自我监督模型进行了四项重要改进，证明了其潜力。

    Apr, 2023

  • 利用深度神经网络嵌入从单张图像中学习深度焦距

    从单个图像中学习深度是场景理解中一个重要问题，本文提出了一种基于卷积神经网络的学习方法，采用了合成数据集，并嵌入了焦距信息，显著提高了单目深度估计的准确性。

    Mar, 2018

  • 通过全焦深度监督桥接无监督和有监督的焦深度

    本文提出了一种方法，可以从具有不同对焦位置的图像集中估计深度图和全焦图像，并设计了一种共享网络结构来利用深度估计和全焦图像的关系，通过有监督学习和无监督学习两种方式进行训练，并在实验证明该方法具有比现有方法更高的定量和定性性能以及更高的推理效率。

    Aug, 2021

  • 从单张图片学习恢复三维场景形状

    研究探讨了在混合数据深度预测训练中使用的位移不变重建损失所引起的未知深度偏移及可能的未知相机焦距问题，并设计了一个两阶段框架以实现单目图像深度预测，并使用三维点云编码器预测遗漏的深度偏移和焦距以恢复逼真的 3D 场景形状，本文提出了图像级标准化回归损失和基于法向几何损失的方法，以增强用混合数据集训练的深度预测模型，该深度模型在 9 个不可见数据集上测试并取得了零样本数据集泛化的最新性能记录。

    Dec, 2020

  • MonoIndoor++: 自我监督单目深度估计在室内环境中的更好实践

    提出了一种基于 transformer 网络的深度分解模块、一个迭代的相机位置残差估计模块和一个直接进行坐标卷积编码的坐标引导策略，从而提高了自监督单目深度估计方法在室内环境中的性能。

    Jul, 2022

  • Defocus 和 DNN：如何通过 DNN 利用 Defocus 模糊提高 3D 估计的深度

    本文提出了一种利用深度学习方法和从焦外模糊度生成深度图像的技术来预测在野外环境下的单张图像深度的系统，并通过实验证明，相较于清晰图像，焦外特征能够有效提升深度预测准确性。

    Sep, 2018