Apr, 2022

UAMD-Net: 一种用于稠密深度补全的统一自适应多模态神经网络

PDF
TL;DR提出了一种新的多模态神经网络 UAMD-Net，通过融合双目立体匹配和稀疏点云的弱约束进行深度完善，并使用新的训练策略 Modal-dropout 使得网络能够适应多种模态输入条件，该方法在 KITTI 深度完善基准测试中的实验表明其能够产生鲁棒的结果，并优于其他最先进的方法。
发现论文，激发创造
  • 自适应上下文感知多模态深度补全网络

    本文提出了一种自适应上下文感知多模态网络（ACMNet），采用图传播方法从稀疏深度图像和 RGB 图像中恢复密集深度地图，实现了在 KITTI 和 NYU-v2 数据集上的最先进性能。

    Aug, 2020

  • 揭示深度：一种多模态融合框架用于挑战场景

    本文提出了一种新颖的方法，通过学习框架，识别和整合主导的跨模态深度特征，独立计算粗略深度图，并使用置信度损失和多模态融合网络进行端到端的深度估计，从而在各种困难情景中展示了鲁棒的深度估计能力。

    Feb, 2024

  • 自动驾驶中基于图像导向的深度补全的简明有效网络

    深度补全是自动驾驶中关键的任务之一，旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合，我们提出了一种简洁而有效的网络结构 CENet，实现了高性能深度补全，具有优秀的准确性和效率。

    Jan, 2024

  • 基于注意力机制的多模态融合网络用于场景语义补全

    本文提出了一种名为 AMFNet 的端到端三维卷积网络，用于从单视图 RGB-D 图像推断出体积三维场景的占用和语义标签。该网络通过融合 2D 语义分割和 3D 语义完成网络的经验以及空间维度的可靠深度线索，学习同时执行有效的 3D 场景完成和语义分割，验证表明在合成 SUNCG-RGBD 数据集和真实 NYUv2 数据集上都取得了明显的优越性。

    Mar, 2020

  • 稀疏辅助网络实现单目深度预测和补全

    研究了如何从单个 RGB 图像中预测密集深度，并引入了新的 Sparse Auxiliary Networks 模块来同时执行深度预测和补全任务。在室内和室外数据集上的实验结果表明，该模块能够同时学习两个任务，并在深度预测方面取得重大进展。

    Mar, 2021

  • MVDepthNet: 实时多视角深度估计神经网络

    本文提出 MVDepthNet，在多视图深度估计中编码多视图观察信息，并结合参考图像使用编码器 - 解码器网络生成深度图，并在单目密集映射系统中应用，实现了高效准确的深度图生成。

    Jul, 2018

  • 使用注意机制的弱监督深度估计网络

    本文提出了一种基于注意力嵌套 U-net（ANU）的弱监督框架 ANUW，它使用软标签生成方法来训练图像深度估计模型，在多个公共数据集上表现优于现有的方法，适用于场景理解和重建。

    Jul, 2021

  • 3dDepthNet: 基于点云引导的深度补全网络，用于稀疏深度和单色图像

    本文提出 3dDepthNet，采用新颖的 3D-to-2D 粗 - 细双重加密设计，通过点云补全和编码解码结构完成深度图像的生成，旨在用于机器人和自动驾驶等领域，实验表明其有效性和高效性。

    Mar, 2020

  • HMS-Net：用于稀疏深度补全的分层多尺度稀疏不变网络

    该研究提出了一种基于多尺度编码器 - 解码器网络的方法，可以有效处理 LIDAR 测量得到的稀疏深度图，并将 RGB 信息融合到模型中，实现密集深度估计。实验证明，在权威的 KITTI depth completion 领先榜中，该方法表现出色。

    Aug, 2018

  • 时间机会主义者：自监督多帧单目深度

    提出 ManyDepth，一种自适应的、可以在测试时间利用序列信息的深度估计方法，通过深度自监督训练基于端到端代价体系积攒的方法，鼓励网络忽略不可靠的代价体以及针对静态相机场景的增强方案。实验证明此方法在 KITTI 和 Cityscapes 上表现优于其他单帧和多帧的自监督基线模型。

    Apr, 2021