Jun, 2023

基于令牌共享 Transformer 的轻量级单目深度估计

PDF
TL;DR提出了一种使用 Transformer 来进行单目深度估计的 Token-Sharing Transformer（TST）架构，该架构通过全局令牌共享，在嵌入式设备中达到高吞吐量的准确深度预测，并在 NYU Depth v2 数据集上优于现有的轻量级单目深度估计方法。
depth estimationmonoculartransformertoken-sharingembedded devices
发现论文，激发创造
  • RT-MonoDepth: 嵌入式系统上的实时单目深度估计

    在本文中，我们提出了两种高效且轻量级的编码器 - 解码器网络结构，RT-MonoDepth 和 RT-MonoDepth-S，用于降低嵌入式系统上的计算复杂性和延迟，以实现实时深度估计。我们的方法论表明，在单个 RGB 图像的更快推断速度下，可以达到类似于先前最先进深度估计作品的准确性。与现有的快速单目深度估计方法相比，我们提出的网络 RT-MonoDepth 和 RT-MonoDepth-S 在分辨率为 640×192 的单个 RGB 图像上在 NVIDIA Jetson Nano 上运行速度为 18.4＆30.5 FPS，在 NVIDIA Jetson AGX Orin 上运行速度为 253.0＆364.1 FPS，并在 KITTI 数据集上达到相对最先进的准确性。据作者所知，本文在准确性和最快推断速度方面都达到了最好的水平。

    Aug, 2023

  • METER：用于单目深度估计的移动视觉变换器架构

    深度估计是自主系统评估自身状态和感知周围环境所需的基本知识。本文提出了一种新的轻量级视觉变换器架构 METER，用于嵌入式设备上的单目深度估计，能够在 NVIDIA Jetson TX1 和 NVIDIA Jetson Nano 等受限硬件上实现最先进的估计和低延迟推断性能。

    Mar, 2024

  • 自监督单目深度估计中的 Transformer 模型（不考虑相机内参）

    研究在自动驾驶和高级驾驶辅助系统下，使用视觉转换器作为新的方法来进行单目深度估计，在 KITTI 深度预测基准上取得了与卷积神经网络相似的性能，同时具有更强的鲁棒性和可扩展性。

    Feb, 2022

  • FastDepth：嵌入式系统上的快速单目深度估计

    本文提出了一种在嵌入式系统上实现快速单视图深度估计的高效轻量级编码器 - 解码器网络架构，涉及深度感知、机器人任务以及神经网络等关键词。在使用 NVIDIA Jetson TX2 GPU 或仅使用 TX2 CPU 时，FastDepth 可以达到每秒 178 帧或每秒 27 帧，并保持低功耗，同时在 NYU Depth v2 数据集上达到接近业界最佳准确度，是目前作者所知道的实时单目深度估计最低延迟最高吞吐量的深度神经网络。

    Mar, 2019

  • 使用 Transformer 从序列到序列视角重新思考立体深度估计

    本文介绍了一种名为 STereo TRansformer (STTR) 的方法，采用序列到序列的对应关系角度来进行立体深度估计，使用位置信息和注意力机制来进行密集像素匹配，克服了固定视差范围的限制，识别遮挡区域和提供置信度估计，并在合成和真实数据集上取得了良好的结果。

    Nov, 2020

  • 深度邻居层聚合轻量级自监督单目深度估计

    我们提出了一种全卷积深度估计网络，利用上下文特征融合，采用高分辨率和低分辨率特征来保留小目标和高速移动物体的信息，进一步在解码器阶段采用基于卷积的轻量级通道注意力来优化深度估计结果，降低参数数量同时保持准确性。

    Sep, 2023

  • 基于 Transformer 编码器和特征融合的深度估计算法

    该研究提出了一种基于 Transformer 编码器架构的创新深度估计算法，针对 NYU 和 KITTI 深度数据集。该研究采用 Transformer 模型来捕捉图像数据中的复杂空间关系以用于深度估计任务，并集成了结构相似性指数 (SSIM) 和均方误差 (MSE) 的复合损失函数，以确保预测的深度图像在结构上保持一致并最小化像素级估计误差。经过严格训练和评估，模型在 NYU 深度数据集上展现出卓越性能，为单幅图像深度估计，尤其是在复杂室内和交通环境中，带来了显著的进展。

    Mar, 2024

  • 用于单目视觉里程计尺度估计的密集预测变换器

    本文使用密集预测变换器模型进行尺度估计，解决单目视觉测距系统中尺度漂移问题，通过深度图的准确估计，取得竞争性的最新成果。

    Oct, 2022

  • 单目深度估计神经网络结构的普适性研究

    通过广泛实验，我们观察到 Transformer 模型表现出强的形状偏见，而 CNN 模型则表现出强的纹理偏见，并且发现纹理偏见的模型比形状偏见的模型在单目深度估计中表现更差，同时进行了各种背骨网络的密集消融研究，实验证明 CNN 和 Transformer 的内在局部性会引入纹理偏见和形状偏见。

    Jan, 2023

  • 基于 Hybrid Transformer 的特征融合用于自监督单目深度估计

    本文介绍了一种新的深度估计模型，使用 Vision Transformers 来提取图像中的全局上下文信息，实现对深度估算的改进，最终该模型在标准测试数据集上达到了最优性能。

    Nov, 2022