一种联合估计无人机深度和深度不确定性的技术
在本文中,我们揭示了单目深度估计方法在恶劣照明和天气条件下的不可靠性,并使用 md4all 解决了这些安全关键问题,该解决方案在逆境和理想条件下以及不同类型的学习监督下都能可靠工作。通过利用现有方法在完美条件下的功效,我们独立于输入提供有效的训练信号,从而在推断时不需要进行修改,通过生成与正常训练样本相对应的一组复杂样本,并通过提供生成的样本并计算相应原始图像上的标准损失来指导模型的自监督或完全监督训练。在挑战性的 nuScenes 和 Oxford RobotCar 两个公共数据集上进行的大量实验证明了我们技术的有效性,在标准和挑战性条件下都显著优于先前的工作。源代码和数据可在此 https URL 找到。
Aug, 2023
本文提出了一种基于深度神经网络的后验不确定性估计方法,通过辅助损失函数的梯度来估计不确定性,避免依赖于地面真实信息的损失定义,可以实现对固定深度估计模型的有状态压制应用。该方法在 KITTI 和 NYU 深度 V2 基准测试中实现了最先进的不确定性估计结果,并且模型和代码都可以在该链接公开获取。
Aug, 2022
这篇论文总结了 RoboDepth 挑战中的获胜解决方案,重点关注鲁棒的自监督和全监督深度估计,涉及了深度估计、挑战赛、深度预测、超分辨率和降噪等方面的创新设计。
Jul, 2023
本文提出了一个鲁棒性评估基准来评估在各种嘈杂的相机位姿设置下深度估计系统,同时提出了一个自适应融合深度估计系统,通过动态选择两个分支之间的高置信度区域进行融合,以实现鲁棒和准确的深度估计。该方法在鲁棒性测试中优于现有的多视图和融合方法,并在挑战性基准(KITTI 和 DDAD)上实现了最先进的性能,假设具有准确的位姿估计。
Mar, 2024
该研究论文提出了一种新颖的自监督双帧多摄像头度量深度估计网络 (M^2Depth),旨在预测自动驾驶中可靠的具有尺度感知的周围深度。与以往使用单个时间步的多视图图像或单个相机的多个时间步图像不同,M^2Depth 采用多个相机的时间相邻的两帧图像作为输入,并生成高质量的周围深度。我们首先在空间和时间域中构造成本体积,并提出一个融合空间 - 时间信息的模块来生成强大的体积表示。我们还将 SAM 特征的神经先验与内部特征相结合,以减少前景和背景之间的模糊性并加强深度边缘。在 nuScenes 和 DDAD 基准测试上的大量实验证明,M^2Depth 实现了最先进的性能。更多结果可以在此 https URL 中找到。
May, 2024
自我监督单目深度估计方法是用于自主车辆环境分析等关键应用的方法。该论文提出了 MonoProb,这是一种新的无监督单目深度估计方法,返回一个可解释的不确定性,该不确定性反映了网络在深度预测中的期望误差。通过引入一种新的自训练损失,可提高深度和不确定性的性能。实验结果表明了我们方法在标准深度和不确定性指标以及我们设计的指标上的改进。
Nov, 2023
通过结合不同的不确定性量化方法与联合语义分割和单眼深度估计,我们评估它们相对于彼此的性能,同时揭示了多任务学习在不确定性质量方面相对于分别解决两个任务的优势。基于这些认识,我们引入了 EMUFormer,这是一种新颖的学生 - 教师蒸馏方法,用于联合语义分割和单眼深度估计以及高效的多任务不确定性量化,它通过隐式利用教师的预测不确定性,在 Cityscapes 和 NYUv2 上取得了新的最先进结果,并且对于两个任务都估计了与 Deep Ensemble 相当或更优的高质量预测不确定性,尽管其效率是 Deep Ensemble 的一个数量级。
Feb, 2024
基于物理驱动的深度学习框架用于单目深度估计,通过假设 3D 场景由分段平面组成,提出了一种新的正常 - 距离头来推导每个位置的深度,同时,通过开发的面感知一致性约束对正常和距离进行规范化,并引入了额外的深度头来改善框架的鲁棒性,利用有效的对比迭代细化模块根据深度的不确定性互补地对深度进行精细化改进,实验证明该方法在 NYU-Depth-v2、KITTI 和 SUN RGB-D 数据集上超过了现有的最先进竞争方法,值得注意的是,它在 KITTI 深度预测在线基准测试中的提交时间中排名第一。
Sep, 2023