AutoDepthNet:使用普通深度和 RGB 摄像头进行高帧率深度图重建
本文提出了一种在嵌入式系统上实现快速单视图深度估计的高效轻量级编码器 - 解码器网络架构,涉及深度感知、机器人任务以及神经网络等关键词。在使用 NVIDIA Jetson TX2 GPU 或仅使用 TX2 CPU 时,FastDepth 可以达到每秒 178 帧或每秒 27 帧,并保持低功耗,同时在 NYU Depth v2 数据集上达到接近业界最佳准确度,是目前作者所知道的实时单目深度估计最低延迟最高吞吐量的深度神经网络。
Mar, 2019
在本文中,我们提出了两种高效且轻量级的编码器 - 解码器网络结构,RT-MonoDepth 和 RT-MonoDepth-S,用于降低嵌入式系统上的计算复杂性和延迟,以实现实时深度估计。我们的方法论表明,在单个 RGB 图像的更快推断速度下,可以达到类似于先前最先进深度估计作品的准确性。与现有的快速单目深度估计方法相比,我们提出的网络 RT-MonoDepth 和 RT-MonoDepth-S 在分辨率为 640×192 的单个 RGB 图像上在 NVIDIA Jetson Nano 上运行速度为 18.4&30.5 FPS,在 NVIDIA Jetson AGX Orin 上运行速度为 253.0&364.1 FPS,并在 KITTI 数据集上达到相对最先进的准确性。据作者所知,本文在准确性和最快推断速度方面都达到了最好的水平。
Aug, 2023
基于 Transformer 的双步骤网络用于室内深度完成,采用自监督预训练编码器学习有效的潜在表示来填补缺失的深度值,并基于令牌融合机制从 RGB 和不完整的深度图像中完成室内深度重建。
Jun, 2024
使用自我监督学习技术,通过 RGB-D 传感器捕获的完整深度图像,提出了 SelfReDepth 深度恢复的自监督深度学习方法,用于去噪和填充深度图,目标是在实时动态环境中高质量地去噪深度视频,与各种 RGB-D 传感器兼容并可用于其他深度依赖算法的预处理步骤。
Jun, 2024
本文提出了一种新的 CPU 架构,使用从单个输入图像提取的特征金字塔快速推断准确的深度图,与现有的方法相比,模型的参数较少(约为 6%),使得其能在 Raspberry Pi 3 上推断 KITTI 图像的深度图约 1.7 秒,为 CPU 上的嵌入式系统的无监督单目深度估计的快速有效部署铺平了道路。
Jun, 2018
本文介绍了一种基于 ConvLSTM 和三种不同类型深度预测网络的自监督实时单目深度估计和完成方法,能够产生一系列的深度图,该方法灵活且可与不同类型稀疏深度图案件组合使用,实验表明,我们的方法在自监督场景中始终优于其基于图像的对应方法,并且在三个流行组的深度预测方法中也表现出更好的性能。
Jan, 2020
本文提出了一种基于深度学习和贝叶斯滤波的方法,从单目视频流中连续估计每个像素的深度和不确定度概率分布,通过积累时间降低深度不确定度,提高准确性和鲁棒性,该方法可将普通 RGB 相机转换成 RGB-D 相机,并实现更为精确、稳定、泛化性更好的 3D 场景重建。
Jan, 2019
本文提出了一种名为 RealNet 的混合结构,它采用信息融合的深度估计算法并将其与小型机器人的目标检测算法相结合,以提高单目视觉传感器下目标检测和深度估计的稳健性。该方法适用于移动平台,具有高实时性和强鲁棒性,并使用 ROS 进行实验。
Apr, 2022
本研究提出一种单流网络,利用深度信息实现早期融合和中期融合之间的引导,解决不同模态之间的不兼容问题,并设计了一种增强深度双重注意力模块(DEDA)和锥形局部注意提取模块(PAFE),以提高实时目标检测的准确性和效率。
Jul, 2020