SDNet: 基于语义引导的深度估计网络
通过引入语义物体性概念分析成像过程,本文提出了一种基于物体性假设的语义物体分割和深度估计网络(SOSD-Net),并采用期望最大化算法的迭代思想更有效地训练该网络,实验结果表明该方法具有卓越的性能。
Jan, 2021
通过混合卷积网络从单个输入图像中同时解决深度估计和语义分割两个重要任务,改善了特征提取过程,实验结果表明 HybridNet 的性能与最先进方法以及其基于的单任务方法相当。
Feb, 2024
本研究采用多尺度卷积神经网络,提出一种单一 RGB 图像用于深度估计和语义分割的深度学习模型,该模型采用单一损失函数进行训练,同时使用完全连接的 CRF 捕捉语义和深度线索之间的上下文关系和交互作用,实现更精确的结果。在 NYUDepth V2 数据集上进行实验,该模型在语义分割方面表现优于最先进方法,在深度估计任务上实现可比较的结果。
Apr, 2016
本文提出了一种用于改善深度估计的 CNN 体系结构,该体系结合语义分割任务。所提出的模型是使用无监督方法进行训练的,并采用双目摄像系统的图像对。实验表明,使用语义分割的嵌入可以提高深度估计的性能
Sep, 2018
本文提出了一种基于 HRNet 网络的深度估计网络 ——DIFFNet,它能在下采样和上采样过程中利用语义信息,并通过特征融合和注意力机制提高算法表现,实验结果表明,该方法在 KITTI 基准数据集上优于当前最先进的单目深度估计方法,并具有处理更高分辨率数据的潜力。我们还通过建立具有挑战性案例的测试集提出了额外的评估策略。
Oct, 2021
本文提出了一种半监督和领域自适应的语义分割框架,它利用自监督单目深度估计(SDE)来增强。该框架采用 SDE 作为辅助任务,通过选择最有用的样本、实现数据增强、转移 SDE 学习到的特征以及利用 Cross-Domain DepthMix 和 Match Geometry Sampling 来利用额外的标记合成数据与真实数据对齐,同时在 Cityscapes 数据集上进行了验证,并获得了半监督语义分割和半监督领域适应的最先进结果。
Aug, 2021
本文介紹了一種自監督學習的深度估計方法,在使用合成數據和真實數據訓練的同時,利用幾何、時間和語義約束,實現了單目視頻深度估計的新的最先進技術,相較其他自監督和合成方法提高了 15% 到 10% 不等。
Jul, 2020
室内深度自动估计的自我监督学习是困难的,挑战主要集中在大面积低纹理区域和复杂的内部训练数据上。本文提出了一种名为 IndoorDepth 的新方法,包括两个创新点:首先,我们提出了一种改进的结构相似(SSIM)功能的新颖光度损失函数,用于应对低纹理区域的挑战;此外,为了进一步减轻不准确的自身运动预测问题,我们使用多个不同阶段的光度损失进行训练,以构建更深的姿态网络。通过对实验的深入研究,我们验证了每个新想法的有效性。在 NYUv2 基准测试中,我们的 IndoorDepth 方法在性能上超过了之前的最新方法。此外,我们还在 ScanNet 数据集上验证了我们的方法的泛化能力。
Dec, 2023
本文研究了如何利用卷积神经网络深度预测图来进行准确而密集的单目重建,并提出了一种将 CNN 预测的密集深度图与直接单目 SLAM 测量所获得的深度测量自然融合的方法,证明了这种方法在场景重建绝对尺度估计等方面的鲁棒性和准确性。最终,提出了一个将语义标签与单个帧的密集 SLAM 高效融合的框架,能够从单个视图中获得语义一致的场景重建。
Apr, 2017
本文提出了一种新的端到端模型,以 RGB 和稀疏深度为输入,联合执行语义分割和深度完成,通过实验表明将语义分割和深度完成结合在一个多任务网络中可以有效提高每个任务的性能。
Sep, 2022