一种适用于超级稀疏飞行时间深度图的低内存占用的量化神经网络深度补全方法

CVPRMay, 2022

一种适用于超级稀疏飞行时间深度图的低内存占用的量化神经网络深度补全方法

A Low Memory Footprint Quantized Neural Network for Depth Completion of Very Sparse Time-of-Flight Depth Maps

Xiaowen Jiang, Valerio Cambareri, Gianluca Agresti, Cynthia Ifeyinwa Ugwu, Adriano Simonetto...

TL;DR提出了一种适用于室内 3D 感知的稀疏主动照明时间飞行（ToF）深度图修复方法。通过使用一个经过量化的卷积编码器 - 解码器网络，以及对输入进行预处理和使用几何保持损失函数进行精心调整的训练，该方法可以在实际光照和传感器分辨率约束下，生成具有高质量的深度图，同时仅需低 GPU 时间和内存占用。这种采用混合精度量化技术的模型可与目前模型的质量相当，并且在权重内存大小方面实现了最多 14 倍的减少，而对质量指标的影响也极小。

Abstract

sparse active illumination enables precise time-of-flight depth sensing as it maximizes signal-to-noise ratio for low power budgets. However, depth completion is required to produce dense depth maps for 3D percep

sparse active illumination time-of-flight depth sensing quantized convolutional encoder-decoder network geometry-preserving loss function mixed precision quantization

发现论文，激发创造

学习高效的多模态深度完成模型

本文提出了一种轻量的深度完成网络，包括两个分支全局和局部深度预测模块和漏斗卷积空间传播网络，通过轻量级骨干提取和融合交叉模式特征，改进了空间传播模块可以逐步改善修饰后的深度图，解决了 RGB 图像引导的稀疏深度完成问题，通过修正的梯度损失解决了深度完成问题，并在 MIPI2022 RGB + TOF 深度完成挑战中获得了冠军。

Aug, 2022

室内深度补全的解码调制

该研究提出了一种基于编码器 - 解码器架构的新型深度完成模型，利用重新定位输出信号内的空间分布，实现根据不同地区的控制，通过 Spatially-Adaptive Denormalization（SPADE）块来控制特定区域的密集度 map 解码，有效提高模型预测质量，主要贡献包含了编码器 - 解码器架构之外的特定部分设计和新颖的训练策略。

May, 2020

多模态神经辐射场对于带有轻量化 ToF 传感器的单目密集 SLAM

通过使用轻量级 ToF 传感器的信号，结合多模式隐式场景表示、粗糙到精细的优化策略和时间信息处理，该研究提出了一种用于相机追踪和稠密场景重建的稀疏光准测距技术，取得了良好的结果。

Aug, 2023

极具高效能的神经时飞

该论文提出了一种学习方法，通过专用 ToF 相机收集的数据集，能够实现低曝光时间下的高效率深度图像获取，从而解决传统 ToF 相机的能耗和性能之间的矛盾。

Dec, 2018

利用深度法线约束的稀疏 LiDAR 数据深度补全

本文提出了一种统一的 CNN 框架来规范化深度完成，通过模拟深度与表面法线之间的几何约束，预测稀疏 LiDAR 输入的置信度，以隔离噪声的影响，以实现从稀疏深度图恢复密集深度图的目标，我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验，证明了我们的方法达到了最先进的性能。

Oct, 2019

DeepToF：即插即用的飞行时间成像多径干扰实时校正

本文基于卷积神经网络和自编码器的方法，提出了不需要对相机进行修改即可校正多径干扰导致深度估计误差的技术，并通过大量数据的训练和模拟实验验证了该方法的可行性。

May, 2018

MIPI 2023 RGB+ToF 深度补全挑战：方法与结果

该研究报告介绍了 RGB 图像和稀疏飞行时间（ToF）测量的深度完成竞赛的结果，比较了不同方法的准确性以及深度学习在该领域的应用。

Apr, 2023

3dDepthNet: 基于点云引导的深度补全网络，用于稀疏深度和单色图像

本文提出 3dDepthNet，采用新颖的 3D-to-2D 粗 - 细双重加密设计，通过点云补全和编码解码结构完成深度图像的生成，旨在用于机器人和自动驾驶等领域，实验表明其有效性和高效性。

Mar, 2020

FastDepth：嵌入式系统上的快速单目深度估计

本文提出了一种在嵌入式系统上实现快速单视图深度估计的高效轻量级编码器 - 解码器网络架构，涉及深度感知、机器人任务以及神经网络等关键词。在使用 NVIDIA Jetson TX2 GPU 或仅使用 TX2 CPU 时，FastDepth 可以达到每秒 178 帧或每秒 27 帧，并保持低功耗，同时在 NYU Depth v2 数据集上达到接近业界最佳准确度，是目前作者所知道的实时单目深度估计最低延迟最高吞吐量的深度神经网络。

Mar, 2019

基于内存的混合低精度量化，实现微控制器上深度网络推断

本文提出了一种新颖的端到端方法，用于在微控制器上部署低误差的深度神经网络，通过混合低位宽压缩，结合 8、4 或 2 位均匀量化，以整数运算来建模推理图，旨在确定每个激活和权重张量的最小位精度，摆脱了资源受限边缘设备的内存和计算限制，通过一个基于规则的迭代过程，运用量化感知的重训练，将虚假量化图转换为整数推理模型，使用整数通道归一化 (ICN) 图层将该模型部署到只有 2MB 的 FLASH 存储器和 512kB 的 RAM 设备上，并报告了基于 STM32H7 微控制器的混合精度 MobilenetV1 家族网络的延迟 - 精度评估结果，实验结果表明，相比于之前发表的微控制器 8 位实现，Top1 精度提高了 8％，达到了 68％。

May, 2019