FSNet: 为自主驾驶重新设计自监督单目深度估计以进行全尺度深度预测
提出了一种新的方法 FedSCDepth,结合联邦学习和深度自监督,能够以与当前最先进的方法相媲美且更高效的方式进行单目深度估计的学习。在 KITTI 数据集上进行的评估实验表明,所提出的方法在测试损失低于 0.13,平均仅需要 1.5k 个训练步骤,并且每轮每辆自动驾驶车辆的权重数据传输量最多为 0.415 GB,达到了近乎最新技术的性能水平。
Oct, 2023
提出 ManyDepth,一种自适应的、可以在测试时间利用序列信息的深度估计方法,通过深度自监督训练基于端到端代价体系积攒的方法,鼓励网络忽略不可靠的代价体以及针对静态相机场景的增强方案。实验证明此方法在 KITTI 和 Cityscapes 上表现优于其他单帧和多帧的自监督基线模型。
Apr, 2021
提出了一种基于 transformer 网络的深度分解模块、一个迭代的相机位置残差估计模块和一个直接进行坐标卷积编码的坐标引导策略,从而提高了自监督单目深度估计方法在室内环境中的性能。
Jul, 2022
提出了一种自监督室内单目深度估计框架 F^2Depth,利用自监督光流估计网络对深度学习进行监督,结合经过精调的光流估计网络产生的多尺度特征图进行特征图融合损失计算,实验结果表明该框架及其提出的损失函数具有较好的室内场景单目图像泛化能力。
Mar, 2024
自主驾驶中深度预测的挑战和应用的研究,使用单目自监督学习方法,提出了条件生成对抗网络以及一种基于变换器的刚性场景和未来深度预测方法,以及视频到视频深度映射模型,用于改进对环境几何和动态物体运动的理解和决策。
Mar, 2024
该研究论文提出了一种新颖的自监督双帧多摄像头度量深度估计网络 (M^2Depth),旨在预测自动驾驶中可靠的具有尺度感知的周围深度。与以往使用单个时间步的多视图图像或单个相机的多个时间步图像不同,M^2Depth 采用多个相机的时间相邻的两帧图像作为输入,并生成高质量的周围深度。我们首先在空间和时间域中构造成本体积,并提出一个融合空间 - 时间信息的模块来生成强大的体积表示。我们还将 SAM 特征的神经先验与内部特征相结合,以减少前景和背景之间的模糊性并加强深度边缘。在 nuScenes 和 DDAD 基准测试上的大量实验证明,M^2Depth 实现了最先进的性能。更多结果可以在此 https URL 中找到。
May, 2024
我们开发了一种焦距和比例尺深度估计模型,能够从单个图像中准确学习未见过的室内场景的绝对深度图。我们通过采用相对深度估计网络学习相对深度和多尺度特征,并将它们与绝对深度估计网络一起输入,从而显著提高了深度估计的泛化能力,在三个未见过的数据集上比起其他五个最先进的深度估计模型,我们的模型将波动率均方根误差 (RMSE) 降低了 41%/13%,并且有效缓解了三维重建中的变形问题,同时也能保持对原始数据集的深度估计准确性。
Jul, 2023
通过多视图几何从单目序列中获取粗略相机姿态以解决室内场景中自监督单目深度估计的挑战,通过旋转和平移 / 缩放优化来改进姿态,通过全局推理的视觉变换器和迭代的自蒸馏机制软化低纹理效果,实验结果显示了框架中每个组件的有效性,并提供了室内自监督单目深度估计的新的技术水平以及出色的泛化能力。
Sep, 2023
本文提出 DNet 方法,利用密集连接预测层(DCP)和密集几何约束(DGC)部分解决自我监督方法中单目深度估计的两个问题:精确的对象级深度推断和不确定的比例因子。实验证明,DCP 层可以更好地识别深度图像中的对象边界并改善对象级深度的连续性,而使用 DGC 执行比例恢复的性能与使用真实地面真值信息相当。
Apr, 2020