ECCVJul, 2020

基于交叉模态权重网络的 RGB-D 显著性目标检测

PDF
TL;DR本研究提出一种跨模型加权策略（CMW），采用三个 RGB - 深度交互模块（CMW-L、CMW-M 和 CMW-H）来分别处理低、中、高级别跨模式融合信息，并使用深度到 RGB 加权（DW）和 RGB 到 RGB 加权（RW）来允许由不同网络块生成的特征层之间进行丰富的跨模式和跨尺度交互，有效地融合 RGB 和深度通道的信息，同时探索不同尺度的物体定位和细节，实验结果表明，该方法在七个常用基准测试中优于 15 种现有的 RGB-D SOD 方法。
salient object detectionrgb-dcross-modal weightingdepth-to-rgb weighingcomposite loss function
发现论文，激发创造
  • 跨模态调制与选择的 RGB-D 显著性目标检测

    本文提出了一个名为 cmMS block 的模块，结合了 cross-modality feature modulation、adaptive feature selection 和 saliency-guided position-edge attention，可以逐步整合和完善 RGB-D 显著性检测中的交叉模态补充关系，有效提高了精度表现。

    Jul, 2020

  • RGB-D 显著目标检测的跨模态不一致交互网络

    通过重新考虑两种模态的重要性，本文提出了一种新的跨模态矛盾交互网络（CDINet），用于 RGB-D SOD。实验结果表明，这种网络在定量和定性上都优于 15 种现有的方法。

    Aug, 2021

  • 多层次交叉模态交互网络用于 RGB-D 显著性目标检测

    本文提出了一个名为 MCINet 的基于 RGB-D 的 SOD 深度学习网络，该深度学习网络具有多层跨模态交互及特征学习组件，可以有效地提高 SOD 性能。实验结果表明，MCINet 比 14 种最先进的方法表现更优，且能够显著提高 SOD 性能。

    Jul, 2020

  • RGB-D 物体检测的跨模态注意力上下文学习

    本文提出了一种基于跨模态关注上下文学习框架的方法，通过充分开发 RGB 和深度数据的上下文信息来识别物体。实验证明，该方法在所有公共基准测试中均显著提高了 RGB-D 物体检测的准确性，并提供了可解释的可视化方案。

    Oct, 2018

  • 基于 CNN 的 RGB-D 显著目标检测：学习、选择和融合

    该论文旨在提出一个系统性的解决方案来解决 RGB-D 突出物检测问题，该方案通过模态特定表示学习、互补线索选择和跨模态补充融合等三个方面进行统一的处理，并构建了一种自适应的残差函数来融合跨模态信息以实现足够的跨模态交互和跨层传输支持。

    Sep, 2019

  • 基于判别式跨模态迁移学习的 RGB-D 显著目标检测

    本文研究使用卷积神经网络，通过跨模态传输问题对深度引导显著性检测进行提高。在这个方法中，我们有效地利用源模态的辅助数据来训练红绿蓝（RGB）显著性检测网络，并利用深度特定信息来预训练模态分类网络。这两个模块都是独立训练的，然后被拼接起来来初始化并优化最终的深度引导显著性检测模型。实验证明，这种预训练策略及所提出的方法都可以显著且一致地提高性能。

    Mar, 2017

  • 保留特异性的 RGB-D 显著性检测

    该研究提出了一种称为 SPNet 的新框架，它通过探索共享信息和特定性质（如特定性）来受益于 SOD 性能，并采用双模态特定网络和共同学习网络来生成单独的和共享的显着性预测地图，分别。此外，为了捕获丰富的互补多模态信息以提高 SOD 性能，该研究还提出了一种多模态特征聚合（MFA）模块。

    Aug, 2021

  • 深度敏感关注和自动多模态融合的 RGB-D 显著性检测

    本文提出了一种深度敏感的 RGB 特征建模方案，并使用深度几何先验来实现特征增强和背景分心减少。另外，我们还提出了一种自动架构搜索方法来进行 RGB-D 显着对象检测，取得了比现有技术更好的结果。

    Mar, 2021

  • 基于点感知交互和卷积神经网络引导的 RGB-D 显著目标检测网络

    通过将 RGB 图像和深度图的互补信息整合，提升了对复杂和具有挑战性场景的显著对象检测（SOD）的能力。我们引入了 CNN 辅助 Transformer 架构，并提出了一种新的 RGB-D SOD 网络，具备点感知交互和 CNN 诱导细化的特点。在实验证明，所提出的网络在定量和定性比较中取得了竞争性的结果。

    Aug, 2023

  • WCCNet: 带有波变换的 CNN 与跨模态重排融合用于快速的多光谱行人检测

    在具有挑战性条件下，多光谱行人检测在各种任务中实现更好的可视性，因此具有广泛的应用，其中准确性和计算成本非常重要。本文提出了一种名为 WCCNet 的新颖高效的框架，能够差异化地提取不同光谱的丰富特征，降低计算复杂性，并对这些特征进行语义重排，以实现有效的跨模态融合。

    Aug, 2023