ICCVSep, 2023

一体化深度：填补单目和双目自监督深度估计间的差距

PDF
TL;DR提出一个名为 TiO-Depth 的两合一自监督深度估计网络，能同时处理单目和双目深度估计任务，并提高预测准确度。TiO-Depth 采用 Siamese 架构，其中每个子网络可用作单目深度估计模型。对于双目深度估计，提出了一个单目特征匹配模块，用于融合两个图像之间的立体知识，并使用完整的 TiO-Depth 来预测深度。通过结合它们的相对优势，设计了一个多阶段联合训练策略，以提高 TiO-Depth 在两个任务中的性能。在 KITTI、Cityscapes 和 DDAD 数据集上的实验结果表明，TiO-Depth 在大多数情况下优于目前最先进的单目和双目方法，并进一步验证了使用两合一网络进行单目和双目深度估计的可行性。
monocular depth estimationbinocular depth estimationself-supervised depth estimationtwo-in-one networktio-depth
发现论文，激发创造
  • 学习立体，推断单眼：用孪生网络进行自监督单目深度估计

    本论文提出了一种新型的自监督单目深度估计方法，使用两张图像进行训练以及基于 Siamese 网络结构只使用其中一张图像来预测深度，在 KITTI 基准测试和 Make3D 基准测试中均取得了最优结果。

    May, 2019

  • 使用无监督三眼假设学习单目深度估计

    该论文提出了一种可以使用无标注数据进行训练的，基于三目摄像机的深度估计方法，其在 KITTI 数据集上取得了比其他基于双目摄像机以及其他线索的方法更好的性能。

    Aug, 2018

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 基于自监督学习的单目图像深度估计

    这个研究探讨了如何通过使用卷积神经网络和其它技术来优化和扩展基于深度学习的深度估计模型，以提高相机获取的图像的三维深度感知的精度。

    Apr, 2023

  • 自监督实例适应的单目深度估计

    本文介绍了一种新方法，可将任何现成的自我监督的单目深度重建系统扩展到在测试时使用多个图像。该方法利用自我监督来提高多个视图可用时深度重建的准确性，在 KITTI 基准测试中，我们的自我监督方法在常见的三种设置（单目、立体和单目 + 立体）下平均减少绝对误差 25％，并在准确性上接近完全受监督的最先进方法。

    Apr, 2020

  • 用于半监督单目深度估计的 RGB-D 大型数据集

    使用基于学生 - 教师策略、数据集成和立体信心引导回归损失的方法，可以提高单目深度估计的精度，并用于高级视觉任务，如室外场景的驾驶情境等。

    Apr, 2019

  • MonoViT：基于视觉 Transformer 的自监督单目深度估计

    提出了一种新的基于 Vision Transformers（ViTs）和自监督单眼深度估计的框架 MonoViT，通过结合普通卷积和 Transformer 模型，能够在局部和全局推理，可以更准确地预测深度，达到了更高水平的性能，证明比其他数据集具有更好的泛化能力。

    Aug, 2022

  • 机器学习与双目立体视觉在图像深度估计方面的协同作用：一项综述

    本文综述了基于学习的单目和双目图像深度估计的最新研究，强调了立体匹配、机器学习和深度学习之间的协同作用、迄今为止取得的成功以及社区将在不久的将来面临的挑战。

    Apr, 2020

  • SuperDepth: 自监督、超分辨率单目深度估计

    本篇论文提出了一种基于子像素卷积层和翻转增强层的高分辨率自监督单目深度估计方法，在公共 KITTI 基准测试中取得了目前最好表现。

    Oct, 2018

  • 无监督单目深度估计与左右一致性

    本研究提出一种基于卷积神经网络的单张图像深度估计方法，使用更容易获取的双目立体视觉图像替代需要大量对应地面真实深度数据的监督式回归训练，通过利用同一场景下两个视点的对极约束，生成视差图，并利用一种新的训练目标函数，结合左右两张图像的视差图像互相匹配和校准，提高了深度估计的性能表现，从而实现了在 KITTI 数据集上的单张图像深度估计的最新领先水平，甚至超过了基于真实深度训练的监督式方法。

    Sep, 2016