Aug, 2023

RT-MonoDepth: 嵌入式系统上的实时单目深度估计

PDF
TL;DR在本文中，我们提出了两种高效且轻量级的编码器 - 解码器网络结构，RT-MonoDepth 和 RT-MonoDepth-S，用于降低嵌入式系统上的计算复杂性和延迟，以实现实时深度估计。我们的方法论表明，在单个 RGB 图像的更快推断速度下，可以达到类似于先前最先进深度估计作品的准确性。与现有的快速单目深度估计方法相比，我们提出的网络 RT-MonoDepth 和 RT-MonoDepth-S 在分辨率为 640×192 的单个 RGB 图像上在 NVIDIA Jetson Nano 上运行速度为 18.4＆30.5 FPS，在 NVIDIA Jetson AGX Orin 上运行速度为 253.0＆364.1 FPS，并在 KITTI 数据集上达到相对最先进的准确性。据作者所知，本文在准确性和最快推断速度方面都达到了最好的水平。
depth sensingunmanned aerial vehiclesautonomous vehiclesdepth estimationembedded systems
发现论文，激发创造
  • FastDepth：嵌入式系统上的快速单目深度估计

    本文提出了一种在嵌入式系统上实现快速单视图深度估计的高效轻量级编码器 - 解码器网络架构，涉及深度感知、机器人任务以及神经网络等关键词。在使用 NVIDIA Jetson TX2 GPU 或仅使用 TX2 CPU 时，FastDepth 可以达到每秒 178 帧或每秒 27 帧，并保持低功耗，同时在 NYU Depth v2 数据集上达到接近业界最佳准确度，是目前作者所知道的实时单目深度估计最低延迟最高吞吐量的深度神经网络。

    Mar, 2019

  • 实现 CPU 上实时无监督单目深度估计

    本文提出了一种新的 CPU 架构，使用从单个输入图像提取的特征金字塔快速推断准确的深度图，与现有的方法相比，模型的参数较少（约为 6％），使得其能在 Raspberry Pi 3 上推断 KITTI 图像的深度图约 1.7 秒，为 CPU 上的嵌入式系统的无监督单目深度估计的快速有效部署铺平了道路。

    Jun, 2018

  • LiteDepth：移动设备上快速准确的深度估计探究

    本文提出了一种名为 LiteDepth 的解决方案，使用小尺寸（1.4MB）的端到端学习模型和数据扩充策略来实现实时单目深度估计，采用多个损失项来提供充分的约束，并使用结构感知蒸馏进一步提高模型性能，获得了 MAI＆AIM2022 单目深度估计挑战赛的第二名并同时提供最快的推理速度。

    Sep, 2022

  • AutoDepthNet：使用普通深度和 RGB 摄像头进行高帧率深度图重建

    提出了一种快速准确的深度地图重构技术，通过当下常规的深度相机和彩色相机在杂交相机中的组合实现，这个方法不仅可以降低延迟，增加帧率，而且可以提高深度图的质量和准确性。

    May, 2023

  • G2-MonoDepth: 从单目 RGB+X 数据进行广义深度推断的通用框架

    该论文研究了单目深度推断的统一任务，从各种机器人的不同场景中的各种原始数据中推断出高质量的深度图。开发了基本的基准测试 G2-MonoDepth，应用于深度估计、不同稀疏度的深度完成和未见场景中的深度增强，并在真实数据和合成数据上始终优于最先进的基准模型。

    Oct, 2023

  • 基于令牌共享 Transformer 的轻量级单目深度估计

    提出了一种使用 Transformer 来进行单目深度估计的 Token-Sharing Transformer（TST）架构，该架构通过全局令牌共享，在嵌入式设备中达到高吞吐量的准确深度预测，并在 NYU Depth v2 数据集上优于现有的轻量级单目深度估计方法。

    Jun, 2023

  • 神经网络如何从单张图像中感知深度？

    本研究通过对 Godard 等人开发的 MonoDepth 网络的分析，探究其利用视觉线索进行深度估计的技术特性，并发现该网络忽略已知障碍物的表面大小，而是利用其在图像中的垂直位置进行深度估计，但也有一定局限性。研究进一步表明，MonoDepth 使用垂直图像位置的技术特性能够估计到任意障碍物的距离，但对于障碍物的下边缘必须有有效的边缘信息。

    May, 2019

  • 基于深度学习的单目图像和视频深度估计方法：综述

    该论文综述了基于深度学习的单个 RGB 图像和视频的深度估计方法，包括输入输出模态、网络结构和学习方法的分类，历史里程碑，以及现有方法使用的流程、数据集和评估指标。

    Jun, 2024

  • 移动设备上快速准确的单张图像深度估计，Mobile AI 2021 挑战赛报告

    本文介绍了 Mobile AI 挑战赛，通过提供包含 RGB 深度图像的大规模数据集，旨在开发基于端到端深度学习的高效的实时深度估计解决方案，可运行于移动设备上，并在 Raspberry Pi 4 上具有较快的运行速度和高精度度量。

    May, 2021

  • 基于自监督学习的单目图像深度估计

    这个研究探讨了如何通过使用卷积神经网络和其它技术来优化和扩展基于深度学习的深度估计模型，以提高相机获取的图像的三维深度感知的精度。

    Apr, 2023