本文提出一种新的三支架构解决深度补全问题,其中包括颜色导向的、语义导向的和深度导向的分支;同时使用基于多模态注意力融合的方法来融合三支架构,从 RGB 图像、稀疏深度图和语义图中预测出密集深度图。经过广泛的实验证明,在 KITTI 深度补全基准测试中取得了最先进的性能。
Apr, 2022
本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块,以集成 RGB-Depth 图像的特征,从而提高语义分割的精度和计算效率。实验结果表明,该模型在计算成本和模型大小方面大大超越了现有的最先进模型,并且在准确性方面具有良好的性能。
Dec, 2019
本文针对通过单视图深度图来获取场景的完整三维体素表示和语义标签的语义场景完成任务,提出了一种端到端三维卷积神经网络 SSCNet,该网络能够同时输出所有摄像机视图锥体中体素的占用和语义标签。SSCNet 使用基于扩张的三维上下文模块来高效地扩展感受野并进行三维上下文学习。实验结果表明,该联合模型比各自解决每个任务的方法表现更好,并且在语义场景完成任务上优于替代方法。
Nov, 2016
通过混合卷积网络从单个输入图像中同时解决深度估计和语义分割两个重要任务,改善了特征提取过程,实验结果表明 HybridNet 的性能与最先进方法以及其基于的单任务方法相当。
Feb, 2024
图像分割和深度估计是计算机视觉中关键的任务,特别是在自动驾驶场景中。我们基于一种全新的深度学习网络 Panoptic-DepthLab,将这两个任务结合起来,在分割网络中增加了深度估计分支,可以预测每个实例分割的深度。通过在 Cityscape 数据集上的评估,我们证明了我们的方法在实现高质量分割结果且能够通过颜色映射可视化深度方面的有效性。我们的提出的方法展示了将不同任务和网络结合以生成更全面的图像识别结果,以促进自动驾驶车辆的安全的新可能性。
Aug, 2023
本文提出了一种基于图像引导的深度完成任务的融合方法,该方法利用了颜色模态和深度模态,采用双分支骨干网络融合不同的模态,并结合几何卷积编码 3D 几何信息,进而在 KITTI 深度完成在线排行榜中取得了第一名的成绩。
Mar, 2021
本文研究以 RGB 彩色通道提升 SSCnet 在场景补全和语义标签方面的表现
Feb, 2018
本文提出一种两流方法,结合深度信息和从 RGB 图像推断出的语义信息,利用 3D CNN 推断出完整的 3D 语义张量进行场景补全,该方法远优于目前的最新技术。
Apr, 2018
深度补全是自动驾驶中关键的任务之一,旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合,我们提出了一种简洁而有效的网络结构 CENet,实现了高性能深度补全,具有优秀的准确性和效率。
Jan, 2024
本文提出了一种基于多任务学习的方法,能够联合进行几何和语义场景理解,包括单眼深度估计、深度补全和语义场景分割,通过一个时间上连续受限的循环网络,利用一系列复杂的跳跃连接、对抗性训练和顺序帧重复的时间限制同时产生一致的深度和语义类标签,大量实验评估表明相比其他当代最先进的技术,本方法的有效性。
Mar, 2019