Nov, 2022

基于交互式上下文感知网络的 RGB-T 显著物体检测

PDF
TL;DR本文提出一种名为互动上下文感知网络（ICANet）的新型网络，它通过混合两种模态的特征来实现跨模态信息以及通过 Multi-Scale Attention Reinforcement（MSAR）和 Upper Fusion（UF）模块来进行跨尺度融合，从而提高了关键目标的检测准确性。
salient object detectionrgb-t multi-modalitythermal infrared imagesinteractive context-aware networkhybrid feature fusion
发现论文，激发创造
  • RGB-T 显著目标检测中温度因素是否始终重要？

    本文提出了一个名为 TNet 的网络，通过引入全局光照估计模块，设置不同的跨模态交互机制以及两阶段本地化和补全模块，来解决 RGB-T 显著性目标检测任务。在三个数据集上进行的广泛实验证明，与 20 种最先进的方法相比，所提出的 TNet 具有竞争性的性能。

    Oct, 2022

  • RGB 热图显著目标检测的多交互双解码器

    本文提出了一种多交互双解码器方法，挖掘和建模多类型相互作用的 RGB-thermal 显著物体检测，它能处理多种场景并具有鲁棒性。在公共 RGBT 和 RGBD SOD 数据集上进行的广泛实验表明，该方法的性能优于最先进的算法。

    May, 2020

  • 多层次交叉模态交互网络用于 RGB-D 显著性目标检测

    本文提出了一个名为 MCINet 的基于 RGB-D 的 SOD 深度学习网络，该深度学习网络具有多层跨模态交互及特征学习组件，可以有效地提高 SOD 性能。实验结果表明，MCINet 比 14 种最先进的方法表现更优，且能够显著提高 SOD 性能。

    Jul, 2020

  • 无对齐 RGBT 显著目标检测：语义引导的非对称相关网络与统一基准

    通过提出一个利用语义引导的非对齐关键区域的不对称关联网络（SACNet），本文首次尝试解决未经手动对齐的 RGB 和热像对的 RGB 和 Thermal 显著目标检测（SOD）问题。使用统一的基准数据集 UVT2000，在对齐和非对齐数据集上进行了大量实验，证明了我们方法的有效性和出色的性能。

    Jun, 2024

  • 联合红外可见光图像融合和显着性目标检测的交互增强范式

    本文提出一种基于红外和可见光图像的交互式多任务范式，通过特征筛选的融合子网和融合引导的交叉互补 SOD 子网相结合，进行物体定位和探测，同时提出交互式循环学习策略，以实现这两个任务的互相增强，取得了显著的效果。

    May, 2023

  • 上下文感知交互网络用于 RGB-T 语义分割

    RGB-T 语义分割技术在自动驾驶场景理解中起着关键作用。本研究提出了一种用于 RGB-T 语义分割的上下文感知交互网络（CAINet），通过建立交互空间来利用辅助任务和全局上下文进行显式引导学习。通过引入上下文感知的互补推理模块、全局上下文建模模块和细节聚合模块，以及特定辅助监督，对多模态特征之间的互补关系进行建模，进一步提高分割效果。对 MFNet 和 PST900 两个基准数据集进行的大量实验表明，CAINet 能够达到最先进的性能。

    Jan, 2024

  • 多模态混合学习与顺序训练在 RGB-T 显著性检测中的应用

    我们提出了一种多模态混合损失方法（MMHL），并引入了混合融合模块，在 RGB 和热感特征融合时考虑了空间和通道信息。同时，我们实施了顺序训练策略，通过在第一阶段仅对 RGB 图像进行训练，然后学习跨模态特征，从而提高了显著性检测性能，而无需额外计算开销。性能评估和消融研究结果表明，与现有的最先进方法相比，该方法取得了卓越的性能。

    Sep, 2023

  • 面向 RGB-D 显著性目标检测的分层动态滤波网络

    本文提出了一种新的动态扩张金字塔模块和混合增强损失函数，在 RGB-D 显著目标检测方面表现优于现有方法。

    Jul, 2020

  • 一体化：RGB、RGB-D 和 RGB-T 显著目标检测

    提供了一个统一解决 RGB、RGB-D 和 RGB-T 三种数据类型的显著目标检测任务的创新模型框架，并基于此框架提出了一个高速高性能的轻量级 SOD 模型 AiOSOD。

    Nov, 2023

  • HODINet: RGB-D 显著物体检测高阶不一致交互网络

    本文提出了一种高阶差异交互网络（HODINet）用于 RGB-D 显著目标检测，通过使用 Transformer 和 CNN 作为主干来编码 RGB 和深度特征，并将高阶表示嵌入到空间和通道关注力中以在不同阶段融合跨模式特征，实验证明该方法在四种评估指标下与 24 种现有方法相比具有竞争性的性能。

    Jul, 2023