具有挑战条件下的鲁棒单目深度估计

ICCVAug, 2023

具有挑战条件下的鲁棒单目深度估计

Robust Monocular Depth Estimation under Challenging Conditions

Stefano Gasperini, Nils Morbitzer, HyunJun Jung, Nassir Navab, Federico Tombari

TL;DR在本文中，我们揭示了单目深度估计方法在恶劣照明和天气条件下的不可靠性，并使用 md4all 解决了这些安全关键问题，该解决方案在逆境和理想条件下以及不同类型的学习监督下都能可靠工作。通过利用现有方法在完美条件下的功效，我们独立于输入提供有效的训练信号，从而在推断时不需要进行修改，通过生成与正常训练样本相对应的一组复杂样本，并通过提供生成的样本并计算相应原始图像上的标准损失来指导模型的自监督或完全监督训练。在挑战性的 nuScenes 和 Oxford RobotCar 两个公共数据集上进行的大量实验证明了我们技术的有效性，在标准和挑战性条件下都显著优于先前的工作。源代码和数据可在此 https URL 找到。

Abstract

While state-of-the-art monocular depth estimation approaches achieve impressive results in ideal settings, they are highly unreliable under challenging illumination and weather conditions, such as at nighttime or

monocular depth estimation illumination and weather conditions md4all learning supervision adverse and ideal conditions

发现论文，激发创造

夜间环境下的规范化：高效的自监督单目深度估计算法

本文提出了一种新的单目深度估计框架，引入了基于先验的正则化来学习配准深度图像的分布知识以避免错误训练，并使用 Mapping-Consistent Image Enhancement module 来增强图像可视性和对比度，同时维持亮度一致性，最后使用基于统计的掩码策略调整纹理区域内删除像素数量的数量来解决在夜间场景下的问题，实验表明每个部分都是有效的，并取得了令人瞩目的成果和最新成果。

Aug, 2021

无监督单目深度估计：谈谈天气

本文提出了一种方法，使用计算机图形和生成模型相结合，通过扩充现有的晴天数据以模拟恶劣天气状况，将增广用于无监督深度估计，进而引入伪监督损失来解决降低性能的问题。

Jul, 2023

RoboDepth 挑战：稳健深度估计方法和进展

这篇论文总结了 RoboDepth 挑战中的获胜解决方案，重点关注鲁棒的自监督和全监督深度估计，涉及了深度估计、挑战赛、深度预测、超分辨率和降噪等方面的创新设计。

Jul, 2023

自我监督单目深度估计在低光环境中：向数据分布补偿迈进

本文提出了一种自监督的夜间单目深度估计方法，不使用夜间图像进行训练，而是利用日间图像作为稳定的自监督信号，并应用物理先验来弥补昼夜差异，通过对昼夜数据分布的补偿，实现高效的单阶段自监督训练。实验结果表明，与现有方法相比，我们的方法在具有挑战性的 nuScenes-Night 和 RobotCar-Night 数据集上取得了领先的深度估计结果。

Apr, 2024

动态场景下的无监督单目深度学习

本研究提出一种方法，利用单眼光度一致性为唯一的监督，联合训练深度、自我运动估计和物体相对于场景的稠密三维平移场的估计，通过已知 3D 平移场的稀疏性和对于刚性移动物体的恒定性进行正则化，有效提高了单眼深度预测模型的准确性。

Oct, 2020

MonoIndoor: 针对室内环境进行自监督单目深度估计的最佳实践

本研究聚焦于自监督单目深度估计在室内环境下的困难，通过引入深度分解模块和残差姿态估计模块分别解决深度网络和姿态网络中的问题，实现相对室外环境更好的表现。

Jul, 2021

自监督对抗训练单目深度估计抵抗现实世界攻击

我们提出了一种新颖的自监督对抗训练方法，通过利用视图合成以增强单眼深度估计模型对真实世界攻击的对抗鲁棒性，而无需真实深度的地面真值。我们的方法在两个代表性的单眼深度估计网络上进行实验证明，相比于特别设计用于单眼深度估计的监督学习和对比学习方法，具有更好的鲁棒性，对良性性能影响最小。

Jun, 2024

自监督单目深度估计的对抗训练：抵抗物理攻击

该论文提出了一种基于视图合成的新型对抗训练方法，用于针对无实际深度信息的自监督 MDE 模型，通过 L0 范数约束来提高对物理世界攻击的鲁棒性，并通过与基于监督学习和对比性学习方法的比较，证明我们的方法可以在几乎不降低良性性能的情况下实现更好的鲁棒性。

Jan, 2023

自监督单目深度估计探究

该论文提出了一种改进的自监督学习方法，包括最小 reprojection 损失、全分辨率多尺度采样和自动屏蔽损失，以实现单眼深度估计。研究结果表明，该方法能够在 KITTI 基准测试上达到业界领先的结果。

Jun, 2018

自监督实例适应的单目深度估计

本文介绍了一种新方法，可将任何现成的自我监督的单目深度重建系统扩展到在测试时使用多个图像。该方法利用自我监督来提高多个视图可用时深度重建的准确性，在 KITTI 基准测试中，我们的自我监督方法在常见的三种设置（单目、立体和单目 + 立体）下平均减少绝对误差 25％，并在准确性上接近完全受监督的最先进方法。

Apr, 2020