ECCVJul, 2020

具有隔离 - 聚合门的 RGB-D 语义分割的双向跨模态特征传播

PDF
TL;DR本文提出了一种统一且高效的跨模态引导编码器，通过分离 - 聚合门技术，不仅可以有效地校准 RGB 特征响应，而且可以通过多个阶段和交替聚合两个重新校准的表示来提取准确的深度信息，同时引入双向多步传播策略来提高 RGB-D 语义分割性能.
rgb-dsemantic segmentationrecalibrationcross-modality aggregation
发现论文，激发创造
  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • RGB-D 显著目标检测的跨模态不一致交互网络

    通过重新考虑两种模态的重要性，本文提出了一种新的跨模态矛盾交互网络（CDINet），用于 RGB-D SOD。实验结果表明，这种网络在定量和定性上都优于 15 种现有的方法。

    Aug, 2021

  • AGG-Net：基于注意力引导的门控卷积网络用于深度图像补全

    基于轻型 RGBD 相机的立体视觉在各个领域中被广泛应用，本文提出了一种基于注意力引导门卷积网络（AGG-Net）的深度图像补全新模型，通过从原始深度图和相应的 RGB 图像中获取更准确可靠的深度图，实验结果表明我们的方法在流行的评估基准 NYU-Depth V2，DIML 和 SUN RGB-D 上优于现有方法。

    Sep, 2023

  • 细节之中的魔鬼：通过重新思考跨模态对齐和聚合来提升引导式深度超分辨率

    通过重新审视 GDSR 网络的一些关键组件并提出简单但有效的 Dynamic Dual Alignment and Aggregation 网络（D2A2），我们结合 RGB 和深度特征的优势，同时最小化 RGB 图像引入的干扰，通过对模态不匹配进行学习的领域对齐块和学习偏移来减轻模态不匹配的动态双重对齐模块，并通过使用门控机制和像素注意力来过滤 IR 纹理噪声并将有用的特征与深度特征结合起来的掩码到像素特征聚合模块，我们的方法在多个基准数据集上实现了最先进的性能。

    Jan, 2024

  • 跨模态三维物体检测的双向传播

    本文描述了一种名为 BiProDet 的双向特征传播框架，使用点到像素的信息流和像素到点的信息流等机制优化了 3D 目标检测。同时，提出一种新的 2D 辅助任务，用于训练 2D 分支并间接提高 3D 检测的性能。实验证明，该方法在 KITTI 数据集的自行车类上的排名为第一位。

    Jan, 2023

  • RGB+D 视频中的行为识别深度多模态特征分析

    本文提出一种新的深度自编码器共享特定特征分解网络，将多模态信号分解成一系列组件，进而结合特征结构提出了一种结构化稀疏学习机以获得更好的分类性能，实验证明该方法在动作识别方面最先进。

    Mar, 2016

  • 深度敏感关注和自动多模态融合的 RGB-D 显著性检测

    本文提出了一种深度敏感的 RGB 特征建模方案，并使用深度几何先验来实现特征增强和背景分心减少。另外，我们还提出了一种自动架构搜索方法来进行 RGB-D 显着对象检测，取得了比现有技术更好的结果。

    Mar, 2021

  • 学习选择性互注意力和对比度用于 RGB-D 显著性检测

    本文旨在解决如何有效地融合 RGB-D 信息来进行显著目标检测的关键问题。通过提出一个新的互惠关注模型来融合来自不同模态的注意力和上下文信息，实现高阶和三线性交叉信息互补，从而提高 RGB-D SOD 的模型性能。同时，通过添加选择性关注来重新加权深度相关信息，提高模型的鲁棒性。在两个数据集上的实验验证了该模型的有效性。

    Oct, 2020

  • 循环场景解析，带透视理解循环

    提出了一种深度感知门控模块，根据物体尺度自适应选择卷积神经网络中的池化字段大小，结合立体视差或单目输入估计的深度开启门控信号，用于语义分割和深度估计，实验结果表明，本方法在四个大规模 RGB-D 数据集上具有竞争性的语义分割性能，并取得了最先进的单目深度估计结果。

    May, 2017