Sep, 2023

多尺度循环 LSTM 与 Transformer 网络用于深度补全

PDF
TL;DR激光雷达深度补全是深度估计的一个新的热门话题，在此任务中，颜色空间和深度空间的特征融合是关键和难点。本文将经典的 LSTM 和 Transformer 模块从自然语言处理迁移到深度补全中并进行相应的重新设计，通过使用遗忘门、更新门、输出门和跳跃门来实现颜色和深度特征的高效融合，并在多个尺度上进行循环优化，最后通过 Transformer 的多头注意力机制进一步融合深度特征。实验证明，我们的方法无需重复的网络结构和后处理步骤，只需在简单的编码器 - 解码器网络结构上添加我们的模块，就能达到最先进的性能。我们的方法在当前主流的自动驾驶 KITTI 基准数据集上排名第一，也可作为其他方法的主干网络，同样能达到最先进的性能。
lidar depth completionfusion of color and depth featureslstmtransformer modulesautonomous driving
发现论文，激发创造
  • HMS-Net：用于稀疏深度补全的分层多尺度稀疏不变网络

    该研究提出了一种基于多尺度编码器 - 解码器网络的方法，可以有效处理 LIDAR 测量得到的稀疏深度图，并将 RGB 信息融合到模型中，实现密集深度估计。实验证明，在权威的 KITTI depth completion 领先榜中，该方法表现出色。

    Aug, 2018

  • FocDepthFormer：基于 Transformer 与 LSTM 的焦点深度估计

    使用 FocDepthFormer，一种基于 Transformer 的网络，通过 LSTM 模块和 CNN 解码器组成，能够从焦点 / 非焦点图像堆栈中推断深度，并在各种度的焦点 / 非焦点情况下直接捕获低级特征，通过 LSTM 与大量单眼 RGB 深度估计数据进行预训练，在各个基准数据集上表现优于现有模型。

    Oct, 2023

  • 基于两阶段遮罩自编码网络的室内深度完整性填充

    基于 Transformer 的双步骤网络用于室内深度完成，采用自监督预训练编码器学习有效的潜在表示来填补缺失的深度值，并基于令牌融合机制从 RGB 和不完整的深度图像中完成室内深度重建。

    Jun, 2024

  • 时序激光雷达深度补全

    基于激光雷达测量数据和相机图像，本研究提出了一种深度补全算法，通过插值和填充稀疏深度值来提高深度图像的分辨率，并使用时间算法从以往时间步中获取信息利用循环神经网络的方式来修改 PENet 方法，实现了对 KITTI 深度补全数据集的最新成果，相较于原有的神经网络参数和浮点运算仅增加不到 1% 的额外开销，尤其在远处物体和包含少量激光深度样本的区域中准确性得到了显著提高，甚至在没有任何地面真实数据的区域（如天空和屋顶）也观察到了巨大的改进，而这些改进并未被现有的评估指标所捕捉到。

    Jun, 2024

  • 基于 Transformer 编码器和特征融合的深度估计算法

    该研究提出了一种基于 Transformer 编码器架构的创新深度估计算法，针对 NYU 和 KITTI 深度数据集。该研究采用 Transformer 模型来捕捉图像数据中的复杂空间关系以用于深度估计任务，并集成了结构相似性指数 (SSIM) 和均方误差 (MSE) 的复合损失函数，以确保预测的深度图像在结构上保持一致并最小化像素级估计误差。经过严格训练和评估，模型在 NYU 深度数据集上展现出卓越性能，为单幅图像深度估计，尤其是在复杂室内和交通环境中，带来了显著的进展。

    Mar, 2024

  • 基于特征融合的粗到细残差学习用于深度补全的 FCFR-Net

    提出了一种基于残差学习的端到端深度完成框架，其将深度完成分为两个阶段进行训练，即粗 - 精阶段，并利用颜色图像和粗深度图提取了表示特征和进行了能量融合操作，将 KITTI 基准下的平均 RMSE 性能提高至当前最先进技术水平以上。

    Dec, 2020

  • 自动驾驶中基于图像导向的深度补全的简明有效网络

    深度补全是自动驾驶中关键的任务之一，旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合，我们提出了一种简洁而有效的网络结构 CENet，实现了高性能深度补全，具有优秀的准确性和效率。

    Jan, 2024

  • 学习引导的卷积网络用于深度填充

    该研究论文设计了一种基于引导网络和卷积分解的多模态特征融合方法，旨在实现在自动驾驶等机器人应用中高精度的深度图像恢复。该方法针对现代 LiDAR 传感器只能提供稀疏深度测量的问题，通过使用同步引导 RGB 图像，并从引导图像中预测核权重，以此来提取深度图像特征，该方法能够高效准确地处理深度数据恢复，具有很高的实用价值和应用前景。

    Aug, 2019

  • 利用深度法线约束的稀疏 LiDAR 数据深度补全

    本文提出了一种统一的 CNN 框架来规范化深度完成，通过模拟深度与表面法线之间的几何约束，预测稀疏 LiDAR 输入的置信度，以隔离噪声的影响，以实现从稀疏深度图恢复密集深度图的目标，我们在 KITTI 深度完成数据集和 NYU-Depth-V2 数据集上进行了大量实验，证明了我们的方法达到了最先进的性能。

    Oct, 2019

  • 基于 Transformer 的多帧自监督深度学习

    本研究提出了使用特征匹配和转换器架构进行单目自监督深度估计的新方法，通过使用深度离散化的极线采样选择匹配候选项，并通过一系列的自注意力和交叉注意力层来改进预测。该方法可以从视频中单独训练，从而建立自监督单目深度估计的最新技术，并具有一定的泛化性能.

    Apr, 2022