iDisc: 单目深度估计的内部离散化
自监督的单目深度估计任务中,离散视差预测已被证明比常规连续方法获得更高质量深度图。然而,当前的离散化策略通常以手工制定且刚性的方式将场景的深度范围划分为箱子,限制了模型的性能。本文提出了一种可学习模块,自适应离散视差体积(ADDV),能够动态感知不同 RGB 图像中的深度分布,并为其生成自适应箱子。该模块可以集成到现有的 CNN 架构中,使网络能够为箱子生成代表性数值和其概率分布。此外,我们引入了新的训练策略 - 均一化和锐化 - 通过损失项和温度参数,以在自监督条件下提供规范化,防止模型退化或崩溃。实证结果表明,ADDV 能有效处理全局信息,在各种场景中生成适当的箱子,并与手工方法相比产生更高质量的深度图。
Apr, 2024
本研究提出了两种新的方法以提高自监督单目训练深度估计,分别为自我关注和离散视差预测,将这两种方法应用到最先进的单目深度估计模型 Monodepth2 中,超越其他自监督和完全监督方法,获得在 KITTI 2015 和 Make3D 数据集上最好的结果。
Mar, 2020
提出了一种基于自监督深层模型的新型单目深度估计框架,其中包括通过反向循环模型进行的深度估计网络优化、信息蒸馏等策略。此框架在 KITTI 基准测试中表现出良好的性能,胜过了目前的非监督方法。
Mar, 2019
提出了一种渐进的深度解耦和调制网络,通过将深度范围分解为多个范围,并自适应地生成多尺度稠密深度图,以解决现有深度离散化方法在不同场景中受深度分布变化影响导致子优化场景深度分布先验的问题。
May, 2024
采用间距增加离散化(SID)策略将深度网络学习重新构建为顺序回归问题,采用累积回归损失训练网络,同时采用多尺度网络结构,避免不必要空间池化,并能够平行捕捉多尺度信息,该方法在四个挑战性基准测试中实现了最先进的结果,并赢得了 Robust Vision Challenge 2018 年的冠军。
Jun, 2018
通过引入一种新的度量学习方案,我们的方法旨在提取具有深度区分特征的模型,而不增加推断时间和模型大小,通过使用距离保持函数来组织特征空间流形,将特征描述符之间的距离设置为与真实物体深度相关,并引入用于物体深度估计的辅助头部,以提高深度质量。此方法在 KITTI 和 Waymo 数据集上集成到各种基线模型中,实验证明了其广泛适用性,并且相对于基线模型,综合性能提高了 23.51% 和 5.78%。
Jan, 2024
利用生成网络的训练策略,我们提出了一种在无监督单目深度估计中具有鲁棒性的扩散模型,并采用分层特征引导的去噪模块来丰富模型的学习能力,进一步探索了图像重投影中的隐式深度,并设计了一种隐式深度一致性损失,从而提高了模型的性能和深度在视频序列中的尺度一致性。实验证明,我们的方法在生成网络模型中脱颖而出,并且具有显著的鲁棒性。
Jun, 2024
本论文提出了一种基于深度卷积神经网络的图像显著性计算框架,用于在复杂背景下准确识别感兴趣的物体。该框架结合了粗略和精细级别的观察,通过两个堆叠的卷积神经网络建立显著性模型。经过实验证明,该框架的性能胜过其他先前方法,并且具有很好的通用性。
Nov, 2015
通过将其作为迭代去噪过程进行建模,我们引入了一种新的自监督深度估计框架 MonoDiffusion,该模型通过伪真实扩散过程生成伪真实数据以辅助扩散,从而解决了缺乏真实深度数据的问题。通过应用蒸馏损失来指导去噪深度,并使用掩码视觉条件机制增强模型的去噪能力。在 KITTI 和 Make3D 数据集上进行的广泛实验证明了 MonoDiffusion 比现有的最先进竞争对手表现更好。
Nov, 2023
本文提出了一种名为自适应距离间隔分离网络(ADISN)的框架,该框架将深度地图视为介于 LiDAR 和图像之间的形式,并通过自适应分割方法将深度地图划分为不同的子图,利用 CNN 提取特征并通过不同的分支分别学习定位检测任务和外观任务,同时设计了不确定性模块以缓解深度估计的不准确问题。
Jun, 2023