Nov, 2023

通过多模态交互和池化注意力优化 RGB-D 语义分割

PDF
TL;DR提出了一种利用 RGB 和深度模态之间互动协同作用的多模态交互与池化注意网络（MIPANet）来优化室内场景中 RGB-D 语义分割的方法，通过多模态交互与融合模块 (MIM) 和池化注意模块 (PAM) 的引入，有效改善了 RGB-D 语义分割性能。
semantic segmentationrgb-d imagesmulti-modal interaction and pooling attention networkmipanetindoor scene datasets
发现论文，激发创造
  • 基于多模态注意力融合的 RGB - 深度图像语义分割模型

    本文提出了一种有效的编码器 - 解码器模型和基于注意力的融合模块，以集成 RGB-Depth 图像的特征，从而提高语义分割的精度和计算效率。实验结果表明，该模型在计算成本和模型大小方面大大超越了现有的最先进模型，并且在准确性方面具有良好的性能。

    Dec, 2019

  • DPANet：深度潜力感知门控注意力网络用于 RGB-D 显着性目标检测

    本文提出了一种名为 DPANet 的新型网络，通过引入深度潜力感知，有效地整合交叉模态互补性并解决 RGB-D 显着目标检测中的污染效应问题，并利用带门控调节器的门控多模式注意力模块从交叉模态的角度捕获长距离依赖关系，并在 8 个数据集上与 15 种当前最先进的方法进行实验室实验来验证所提方法的有效性。

    Mar, 2020

  • 多层次交叉模态交互网络用于 RGB-D 显著性目标检测

    本文提出了一个名为 MCINet 的基于 RGB-D 的 SOD 深度学习网络，该深度学习网络具有多层跨模态交互及特征学习组件，可以有效地提高 SOD 性能。实验结果表明，MCINet 比 14 种最先进的方法表现更优，且能够显著提高 SOD 性能。

    Jul, 2020

  • 通过双提示学习实现高效多模态语义分割

    通过采用冻结预训练的 RGB 模型，并结合双提示学习模块（多模态提示生成器和多模态特征适配器），DPLNet 在多模态语义分割任务中达到了新的最佳性能，同时保持了参数的高效利用。

    Dec, 2023

  • ACNet：基于注意力的网络，利用互补特征进行 RGBD 语义分割

    本文提出了一种新的方法 ACNet，通过 Attention Complementary Module (ACM) 和 三个并行分支的结构，ACNet 能够从不同通道提取更多高质量的特征，在 SUN-RGBD 和 NYUDv2 数据集上得到了更好的表现，特别地，在 NYUDv2 测试集上，ResNet50 取得了 48.3% 的 mIoU 得分，并在 https URL 上发布了源代码和经过训练的分割模型。

    May, 2019

  • 基于级联互信息最小化的 RGB-D 显著性检测

    本文提出了一个多阶段级联学习框架来利用相互信息最小化 “显式” 建模 RGB 图像和深度数据之间的多模态信息，对 RGB-D 显著性检测进行了广泛的实验，贡献了一个比 NJU2K 大 7 倍的标注精细的数据集，构建了四个有强基准线的新基准，观察到了一些有趣的现象，可以激发未来的模型设计。

    Sep, 2021

  • 面向高效 RGB-D 语义分割的空间信息引导自适应上下文感知网络

    提出了一种有效的轻量级编码器 - 解码器网络以及其他相关模块，用于在移动机器人中进行 RGB-D 语义分割，通过跨模态相关性和补充线索可以准确提取多层次 RGB-D 特征，实验结果表明该方法在分割准确性、推理时间和参数方面具有更好的权衡。

    Aug, 2023

  • 利用多模态球面图像进行单帧语义分割

    本研究提出了一种基于 Transformer 的跨模态融合架构，用于弥合多模态融合与全景场景感知之间的差距，并使用失真感知模块来处理极端对象变形和全景失真，通过跨模态交互实现特征矫正和信息交换，最终将特征合并以传达双模态和三模态特征流的长程上下文，通过在三个室内全景数据集中四种不同模态类型的组合进行彻底测试，我们的技术在 Stanford2D3DS（RGB-HHA）上达到了 60.60% 的 mIoU 性能，Structured3D（RGB-D-N）上达到了 71.97% 的 mIoU 性能，Matterport3D（RGB-D）上达到了 35.92% 的 mIoU 性能。

    Aug, 2023

  • 室内场景标记的多模态循环神经网络与信息传递层

    提出了一种新的多模态递归神经网络方法 (Multimodal RNNs) 用于 RGB-D 场景语义分割，它同时优化两个递归神经网络模型的训练，各自从自己以及另外一个模型的传递模式中学习特征，以提取相关的跨模态信息特征，实现了在 RGB 和深度图像数据上的显著优化和竞争性结果。

    Mar, 2018

  • RGB-D 显著目标检测的跨模态不一致交互网络

    通过重新考虑两种模态的重要性，本文提出了一种新的跨模态矛盾交互网络（CDINet），用于 RGB-D SOD。实验结果表明，这种网络在定量和定性上都优于 15 种现有的方法。

    Aug, 2021