Jun, 2020

使用手持设备在野外实时进行单张图像深度感知

PDF
TL;DR探究采用适当的网络设计和训练策略以及如何将结果网络映射到手持设备以实现实时性能的方式解决单张图像深度估计的低可靠性和需求高计算资源的问题，并通过实验证明这些快速网络具有良好的泛化能力以用于现实应用，包括野外中的实时深度感知增强现实和图像模糊处理。
depth estimationsingle imagenetwork designreal-time performancehandheld devices
发现论文，激发创造
  • 移动设备上快速准确的单张图像深度估计，Mobile AI 2021 挑战赛报告

    本文介绍了 Mobile AI 挑战赛，通过提供包含 RGB 深度图像的大规模数据集，旨在开发基于端到端深度学习的高效的实时深度估计解决方案，可运行于移动设备上，并在 Raspberry Pi 4 上具有较快的运行速度和高精度度量。

    May, 2021

  • 野外单张图像的深度感知

    本文介绍了一种新的算法，该算法使用已注释的相对深度学习估算度量深度，结合深度数据和新的相对深度注释，显著提高了野外单张图像的深度感知效果。

    Apr, 2016

  • 移动设备上的实时立体图像深度估计

    本文介绍了一种实时生成精准视差图的方法，在保持精度的同时可以根据计算资源的需求自动调整。该方法的参数数量较少且可用于资源受限的设备。

    Oct, 2018

  • FastDepth：嵌入式系统上的快速单目深度估计

    本文提出了一种在嵌入式系统上实现快速单视图深度估计的高效轻量级编码器 - 解码器网络架构，涉及深度感知、机器人任务以及神经网络等关键词。在使用 NVIDIA Jetson TX2 GPU 或仅使用 TX2 CPU 时，FastDepth 可以达到每秒 178 帧或每秒 27 帧，并保持低功耗，同时在 NYU Depth v2 数据集上达到接近业界最佳准确度，是目前作者所知道的实时单目深度估计最低延迟最高吞吐量的深度神经网络。

    Mar, 2019

  • RT-MonoDepth: 嵌入式系统上的实时单目深度估计

    在本文中，我们提出了两种高效且轻量级的编码器 - 解码器网络结构，RT-MonoDepth 和 RT-MonoDepth-S，用于降低嵌入式系统上的计算复杂性和延迟，以实现实时深度估计。我们的方法论表明，在单个 RGB 图像的更快推断速度下，可以达到类似于先前最先进深度估计作品的准确性。与现有的快速单目深度估计方法相比，我们提出的网络 RT-MonoDepth 和 RT-MonoDepth-S 在分辨率为 640×192 的单个 RGB 图像上在 NVIDIA Jetson Nano 上运行速度为 18.4＆30.5 FPS，在 NVIDIA Jetson AGX Orin 上运行速度为 253.0＆364.1 FPS，并在 KITTI 数据集上达到相对最先进的准确性。据作者所知，本文在准确性和最快推断速度方面都达到了最好的水平。

    Aug, 2023

  • 移动平台稀疏监督实时单目深度估计

    该研究在保持模型简洁的情况下，通过设计选项和实验研究，实现了较高水平的深度估计性能，并在移动设备上实现了最优化。

    May, 2021

  • 移动增强现实深度估计：挑战与前景 -- 扩展版

    本文对移动增强现实中的度量深度估计进行了研究，探讨了硬件、数据和模型相关的挑战，并提出了利用移动设备相机和其他可用传感器的更多硬件相关信息、捕捉高质量数据以反映真实世界增强现实场景，以及设计模型架构来利用新信息等有希望的未来方向。

    Oct, 2023

  • 智能眼镜实用的立体深度系统

    本研究介绍了一种基于智能眼镜的 3D 计算摄影系统，通过在移动设备上执行预处理、在线立体校正和深度估计等一系列步骤，实现了高效、低延迟、低能耗的深度感知，并在野外环境下实现了无缝的视角切换和 3D 效果生成。

    Nov, 2022

  • 实现 CPU 上实时无监督单目深度估计

    本文提出了一种新的 CPU 架构，使用从单个输入图像提取的特征金字塔快速推断准确的深度图，与现有的方法相比，模型的参数较少（约为 6％），使得其能在 Raspberry Pi 3 上推断 KITTI 图像的深度图约 1.7 秒，为 CPU 上的嵌入式系统的无监督单目深度估计的快速有效部署铺平了道路。

    Jun, 2018

  • LiteDepth：移动设备上快速准确的深度估计探究

    本文提出了一种名为 LiteDepth 的解决方案，使用小尺寸（1.4MB）的端到端学习模型和数据扩充策略来实现实时单目深度估计，采用多个损失项来提供充分的约束，并使用结构感知蒸馏进一步提高模型性能，获得了 MAI＆AIM2022 单目深度估计挑战赛的第二名并同时提供最快的推理速度。

    Sep, 2022