May, 2024

耦合脉百加倍：耦合状态空间模型增强的多模态融合

PDF
TL;DR多模态融合的核心在于利用不同模态所固有的互补信息，然而现有的融合方法对于捕捉模态之间的复杂内部和相互关联动态缺乏充分准备，而最近在至关重要的状态空间模型 (SSM) 方面取得的进展，尤其是 Mamba 模型，成为有希望的竞争者，本文提出了耦合 SSM 模型来解决多种模态融合时的挑战，通过设计一个模态间隐藏状态转换方案以及并行计算的全局卷积核，实现多模态融合并在实验证实了其有效性。
multi-modal fusionstate space modelscoupled ssm modelinter-modal hidden states transition schemehardware-aware parallelism
发现论文，激发创造
  • 融合短吻鳄的跨模态物体检测

    本文研究通过对改进的 Mamba 与门控机制在隐藏状态空间中关联交叉模态特征，设计了一个融合 Mamba 块（FMB）来将交叉模态特征映射到隐藏状态空间进行交互，从而降低交叉模态特征的差异性并增强融合特征的表征一致性；通过在公共数据集上进行大量实验证明，我们提出的方法在 $m$AP 上超过了 5.9％的 $M^3FD$ 和 4.9％的 FLIR-Aligned 数据集，展现出卓越的目标检测性能。据我们所知，本文首次探索了 Mamba 在跨模态融合中的潜力，并为跨模态目标检测建立了一个新的基线。

    Apr, 2024

  • FusionMamba: 多模态图像融合的动态特征增强

    提出了一种基于 FusionMamba 的动态特征增强方法，用于多模式图像融合，具有与 Mamba 相同的性能和全局建模能力，同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务（CT-MRI、PET-MRI、SPECT-MRI）、红外和可见图像融合任务（IR-VIS）以及多模式生物医学图像融合数据集（GFP-PC）中具有泛化能力。

    Apr, 2024

  • FusionMamba：基于状态空间模型的高效图像融合

    图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合，生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法，通过在两个 U 型网络中结合 Mamba 块，以一种高效、独立和分级的方式提取空间和光谱特征，进而有效地将空间和光谱信息进行融合，得到了优于其他融合技术的性能，证明了 FusionMamba 的有效性。

    Apr, 2024

  • SurvMamba: 多粒度多模态相互作用的状态空间模型用于生存预测

    通过多模态学习，结合病理图像和基因组数据，可以显著提高生存预测的准确性。本研究提出了一种多粒度多模态交互的结构化状态空间模型（SurvMamba），用于生存预测。通过 Hierarchical Interaction Mamba（HIM）模块实现高效的模态内部交互以捕捉更详细的局部特征和丰富的全局表示。同时，采用 Interaction Fusion Mamba（IFM）模块进行级联的模态间交互融合，提供更全面的特征用于生存预测。在五个 TCGA 数据集上的全面评估表明，SurvMamba 在性能和计算成本方面优于其他现有方法。

    Apr, 2024

  • 基于广义广式模型和概率引导融合的多模态情感学习再探

    在多模式对话中的多模式情感识别（MERC）领域，我们考虑了长距离上下文语义信息在特征分离阶段的提取以及特征融合阶段中模态之间语义信息的一致性最大化，提出了一种新方法 Broad Mamba，它通过广义学习系统在广空间中压缩情感表示，并设计了基于概率引导的多模式融合策略，实验证明该方法能够克服 Transformer 在建模长距离上下文时的计算和内存限制，具有成为下一代 MERC 领域的通用架构的巨大潜力。

    Apr, 2024

  • I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成

    通过引入选择性状态空间建模 (SSM) 来捕捉远程上下文并保持局部精度，提出了一种新型对抗性模型 I2I-Mamba，该模型在卷积骨干网络的瓶颈中注入通道混合 Mamba (cmMamba) 块，综合报告了多对比度 MRI 和 MRI-CT 协议中缺失图像的完整演示，研究结果表明，I2I-Mamba 在合成目标模态图像方面优于现有的基于 CNN 和 Transformer 的方法。

    May, 2024

  • 一种用于图像融合的局部增强和状态共享的新型状态空间模型

    基于 Mamba 算法的本地增强视觉 Mamba（LEVM）块和状态共享技术的图像融合网络（LE-Mamba）在多光谱和高光谱图像融合数据集上取得了最先进的结果，证明了该方法的有效性。

    Apr, 2024

  • MambaDFuse: 利用 Mamba 构建的双阶段多模态图像融合模型

    提出了一种基于 Mamba 的双相融合模型 (MambaDFuse)，用于解决现有方法在多模态图像融合任务中提取特征和融合特征的效率问题，通过设计双级特征提取器和双相特征融合模块，实现了具有良好融合结果的图像重建，并在红外 - 可见光图像融合和医学图像融合等任务中取得了显著的性能提升。

    Apr, 2024

  • 计算效率时代：医学图像分析中状态空间模型的综合调查

    该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

    Jun, 2024

  • VL-Mamba: 多模式学习中的状态空间模型探索

    通过基于状态空间模型的 VL-Mamba 多模态大语言模型和 2D 视觉选择扫描机制以及不同视觉编码器和预训练 Mamba 语言模型的组合的实证研究，我们证明了状态空间模型在多模态学习任务中具有巨大潜力，并展示了 VL-Mamba 在各种多模态基准测试中具有竞争力的性能。

    Mar, 2024