Apr, 2024

融合短吻鳄的跨模态物体检测

PDF
TL;DR本文研究通过对改进的 Mamba 与门控机制在隐藏状态空间中关联交叉模态特征，设计了一个融合 Mamba 块（FMB）来将交叉模态特征映射到隐藏状态空间进行交互，从而降低交叉模态特征的差异性并增强融合特征的表征一致性；通过在公共数据集上进行大量实验证明，我们提出的方法在 $m$AP 上超过了 5.9％的 $M^3FD$ 和 4.9％的 FLIR-Aligned 数据集，展现出卓越的目标检测性能。据我们所知，本文首次探索了 Mamba 在跨模态融合中的潜力，并为跨模态目标检测建立了一个新的基线。
cross-modality fusionobject detectionmambahidden state spacefeature fusion
发现论文，激发创造
  • FusionMamba: 多模态图像融合的动态特征增强

    提出了一种基于 FusionMamba 的动态特征增强方法，用于多模式图像融合，具有与 Mamba 相同的性能和全局建模能力，同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务（CT-MRI、PET-MRI、SPECT-MRI）、红外和可见图像融合任务（IR-VIS）以及多模式生物医学图像融合数据集（GFP-PC）中具有泛化能力。

    Apr, 2024

  • MambaDFuse: 利用 Mamba 构建的双阶段多模态图像融合模型

    提出了一种基于 Mamba 的双相融合模型 (MambaDFuse)，用于解决现有方法在多模态图像融合任务中提取特征和融合特征的效率问题，通过设计双级特征提取器和双相特征融合模块，实现了具有良好融合结果的图像重建，并在红外 - 可见光图像融合和医学图像融合等任务中取得了显著的性能提升。

    Apr, 2024

  • 耦合脉百加倍：耦合状态空间模型增强的多模态融合

    多模态融合的核心在于利用不同模态所固有的互补信息，然而现有的融合方法对于捕捉模态之间的复杂内部和相互关联动态缺乏充分准备，而最近在至关重要的状态空间模型 (SSM) 方面取得的进展，尤其是 Mamba 模型，成为有希望的竞争者，本文提出了耦合 SSM 模型来解决多种模态融合时的挑战，通过设计一个模态间隐藏状态转换方案以及并行计算的全局卷积核，实现多模态融合并在实验证实了其有效性。

    May, 2024

  • FusionMamba：基于状态空间模型的高效图像融合

    图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法，通过在两个 U 型网络中结合 Mamba 块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了 FusionMamba 的有效性。

    Apr, 2024

  • MMR-Mamba: Mamba 与空间频率信息融合的多对比度 MRI 重建

    通过 MMR-Mamba 框架中 Mamba 和空间频率信息融合，从辅助模态获取的信息，实现了多对比度 MRI 加速成像和高质量重建目标图像，通过创新的策略有效融合了空间和频率领域的特征，避免冗余信息的引入。

    Jun, 2024

  • 一种用于图像融合的局部增强和状态共享的新型状态空间模型

    基于 Mamba 算法的本地增强视觉 Mamba（LEVM）块和状态共享技术的图像融合网络（LE-Mamba）在多光谱和高光谱图像融合数据集上取得了最先进的结果，证明了该方法的有效性。

    Apr, 2024

  • Pan-Mamba: 有效的全色融合方法与状态空间模型

    本研究提出一种使用 Mamba 模型进行全局信息建模的新型 pan-sharpening 网络 ——Pan-Mamba，通过轻量级的交叉模态交互和利用内在的跨模态关系，实现高效的信息表示和融合，并在各种数据集上超过了现有方法，在 pan-sharpening 领域取得了卓越的融合结果，是对 Mamba 模型潜力的首次探索和全新的 pan-sharpening 技术前沿的建立。

    Feb, 2024

  • 通过盒匹配实现多模式三维物体检测

    本论文提出了一种用于自动驾驶场景中多模态三维物体检测的新型融合网络 FBMNet，其通过在边界框级别上学习对应关系以自由化校准依赖，从而提供了一种用于跨模态特征对齐的替代方法。在 nuScenes 数据集上的实验表明，该方法比现有融合方法更加稳定有效，适用于异步传感器、错位传感器放置和退化相机图像等复杂情况，为实现自动驾驶场景中安全而提供了一种可行解决方案。

    May, 2023

  • MedMamba：针对医学图像分类的视觉蛇

    Medical image classification using Vision Mamba, a novel Conv-SSM module that combines convolutional layers with state space model, demonstrates promising results in detecting lesions, establishing a new baseline for the field.

    Mar, 2024

  • 基于广义广式模型和概率引导融合的多模态情感学习再探

    在多模式对话中的多模式情感识别（MERC）领域，我们考虑了长距离上下文语义信息在特征分离阶段的提取以及特征融合阶段中模态之间语义信息的一致性最大化，提出了一种新方法 Broad Mamba，它通过广义学习系统在广空间中压缩情感表示，并设计了基于概率引导的多模式融合策略，实验证明该方法能够克服 Transformer 在建模长距离上下文时的计算和内存限制，具有成为下一代 MERC 领域的通用架构的巨大潜力。

    Apr, 2024