ICCVSep, 2023

AGG-Net：基于注意力引导的门控卷积网络用于深度图像补全

PDF
TL;DR基于轻型 RGBD 相机的立体视觉在各个领域中被广泛应用，本文提出了一种基于注意力引导门卷积网络（AGG-Net）的深度图像补全新模型，通过从原始深度图和相应的 RGB 图像中获取更准确可靠的深度图，实验结果表明我们的方法在流行的评估基准 NYU-Depth V2，DIML 和 SUN RGB-D 上优于现有方法。
stereo visionrgbd camerasdepth image completionattention guided gated-convolutional networkdepth-irrelevant features
发现论文，激发创造
  • ACNet：基于注意力的网络，利用互补特征进行 RGBD 语义分割

    本文提出了一种新的方法 ACNet，通过 Attention Complementary Module (ACM) 和 三个并行分支的结构，ACNet 能够从不同通道提取更多高质量的特征，在 SUN-RGBD 和 NYUDv2 数据集上得到了更好的表现，特别地，在 NYUDv2 测试集上，ResNet50 取得了 48.3% 的 mIoU 得分，并在 https URL 上发布了源代码和经过训练的分割模型。

    May, 2019

  • 自动驾驶中基于图像导向的深度补全的简明有效网络

    深度补全是自动驾驶中关键的任务之一，旨在将稀疏的深度图转化为密集的深度预测。通过基于 RGB 图像的融合，我们提出了一种简洁而有效的网络结构 CENet，实现了高性能深度补全，具有优秀的准确性和效率。

    Jan, 2024

  • 具有隔离 - 聚合门的 RGB-D 语义分割的双向跨模态特征传播

    本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.

    Jul, 2020

  • RGB-D 显著性目标检测的渐进式引导交替细化网络

    本文提出一种高效紧凑的深度神经网络来进行 RGB-D 显着目标检测，首先通过从头学习构建轻量级深度流提取有效特征，然后使用指导残差块交替地将 RGB 和深度特征输入，通过分层指导减少互相降解并提高效率，大量实验结果表明该模型在精度和效率方面相对于现有方法均有改进。

    Aug, 2020

  • SemAttNet: 基于注意力的语义感知引导深度完成

    本文提出一种新的三支架构解决深度补全问题，其中包括颜色导向的、语义导向的和深度导向的分支；同时使用基于多模态注意力融合的方法来融合三支架构，从 RGB 图像、稀疏深度图和语义图中预测出密集深度图。经过广泛的实验证明，在 KITTI 深度补全基准测试中取得了最先进的性能。

    Apr, 2022

  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 面具适应性门控卷积和双向渐进融合网络用于深度补全

    基于编码器 - 解码器结构的新型深度补全模型提出了两个关键组件：MagaConv 架构和 BP-Fusion 模块。其中，MagaConv 架构通过使用迭代更新的遮罩调制卷积运算来获取精确的深度特征，而 BP-Fusion 模块通过在全局视角中利用连续的双向融合结构逐步整合深度和颜色特征。通过在包括 NYU-Depth V2，DIML 和 SUN RGB-D 在内的流行基准数据集上进行广泛实验，我们的模型表现优越，成就了在深度图像补全方面的卓越性能，并在准确性和可靠性方面超越了现有方法。

    Jan, 2024

  • RGB-D 行动识别的深度聚合网络协同训练

    提出了一种利用多种异构源中的联合信息的新型深度神经网络训练范式。具体来说，在基于 RGB-D 的动作识别任务中，它会在 RGB 视觉特征和深度特征上合作训练单个卷积神经网络（命名为 c-ConvNet），并深度聚合这两种特征进行动作认证。

    Dec, 2017

  • 学习引导的卷积网络用于深度填充

    该研究论文设计了一种基于引导网络和卷积分解的多模态特征融合方法，旨在实现在自动驾驶等机器人应用中高精度的深度图像恢复。该方法针对现代 LiDAR 传感器只能提供稀疏深度测量的问题，通过使用同步引导 RGB 图像，并从引导图像中预测核权重，以此来提取深度图像特征，该方法能够高效准确地处理深度数据恢复，具有很高的实用价值和应用前景。

    Aug, 2019

  • RigNet: 用于深度完成的重复图像引导网络

    本研究提出了一种基于图像引导的神经网络，在处理深度不完整的情况下，通过引入重复设计和小时 glass 网络和动态卷积技术，提高了深度预测精度，在 KITTI 基准测试和 NYUv2 数据集上均取得了优越或有竞争力的结果。

    Jul, 2021