Oct, 2023

从单目视频序列中学习深度

PDF
TL;DR从单目视频序列中学习单张图像深度估计模型是一个非常具有挑战性的问题。在本文中，我们提出了一种新颖的训练损失，使我们能够在训练过程中包含更多图像以进行监督。我们提出了一个简单而有效的模型来考虑帧与帧之间的像素运动。同时，我们还设计了一种新颖的网络架构来进行单张图像估计。当结合在一起时，我们的方法在自监督设置下，在 KITTI 数据集上产生了最先进的结果。
single image depth estimationmonocular video sequencetraining lossnetwork architecturekitti dataset
发现论文，激发创造
  • 自监督单目深度估计探究

    该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

    Jun, 2018

  • 无监督单目深度估计与左右一致性

    本研究提出一种基于卷积神经网络的单张图像深度估计方法，使用更容易获取的双目立体视觉图像替代需要大量对应地面真实深度数据的监督式回归训练，通过利用同一场景下两个视点的对极约束，生成视差图，并利用一种新的训练目标函数，结合左右两张图像的视差图像互相匹配和校准，提高了深度估计的性能表现，从而实现了在 KITTI 数据集上的单张图像深度估计的最新领先水平，甚至超过了基于真实深度训练的监督式方法。

    Sep, 2016

  • 视频中深度和自运动的无监督学习

    本文提出了一种无监督学习框架，通过使用视图合成作为监督信号，同时训练深度和相机位姿估计网络以完成从非结构化视频序列中的单目深度和相机运动估计的任务。经验评估表明，我们的方法具备与基于监督方法使用地面真值位姿或深度进行训练的方法相当的单目深度估计能力，并且在相似的输入设置下，姿态估计表现良好。

    Apr, 2017

  • 视频中的自监督物体运动和深度估计

    本文提出了一种自监督学习框架，从视频中估算单个对象的运动和单眼深度，并将对象运动建模为六个自由度刚体变换；此外，该方法还使用实例分割掩码引入对象信息，并通过引入新的几何约束损失项消除运动预测的尺度歧义，实验结果表明，该框架在不需要外部注释的情况下处理数据并能够捕捉对象的运动，与自监督研究方法相比，在 3D 场景流预测方面有更好的表现，对动态区域的视差预测也有所贡献。

    Dec, 2019

  • 单目视频的逐帧深度与运动学习

    我们提出了一种全面的联合训练框架，该框架在单目相机设置中明确建模多个动态对象、自我运动和深度而不需要监督，并且具有高效的深度和运动估算，并通过实验证明了其优于现有深度和运动估算方法。

    Dec, 2019

  • 利用传统视觉里程计增强自监督单目深度估计

    该论文提出了一种自监督学习的方法，利用几何先验和自编码器来提高单目深度估计的效果，实验结果表明该方法在 KITTI 数据集上的表现优于现有方法，适用于高性能 GPU 和嵌入式设备。

    Aug, 2019

  • 基于深度学习的单目深度估计：综述

    该研究对基于深度学习的单张图像深度估计方法进行了调研，总结了常用的数据集、评价指标和不同的训练方式，并讨论了未来研究中的挑战和方向。

    Mar, 2020

  • 探索自监督单帧与多帧深度估计之间的相互影响

    提出了一个新的自监督训练框架来充分利用单帧和多帧深度方法之间的相互影响，其中包括像素适应深度采样模块、最小重投影教师信号以及将单帧深度作为先验来进一步提高多帧深度估计性能。实验结果表明，该方法在自监督的单目设置中优于现有方法。

    Apr, 2023

  • 自监督实例适应的单目深度估计

    本文介绍了一种新方法，可将任何现成的自我监督的单目深度重建系统扩展到在测试时使用多个图像。该方法利用自我监督来提高多个视图可用时深度重建的准确性，在 KITTI 基准测试中，我们的自我监督方法在常见的三种设置（单目、立体和单目 + 立体）下平均减少绝对误差 25％，并在准确性上接近完全受监督的最先进方法。

    Apr, 2020

  • 时间机会主义者：自监督多帧单目深度

    提出 ManyDepth，一种自适应的、可以在测试时间利用序列信息的深度估计方法，通过深度自监督训练基于端到端代价体系积攒的方法，鼓励网络忽略不可靠的代价体以及针对静态相机场景的增强方案。实验证明此方法在 KITTI 和 Cityscapes 上表现优于其他单帧和多帧的自监督基线模型。

    Apr, 2021