一种用于图像融合的局部增强和状态共享的新型状态空间模型
图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合,生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法,通过在两个 U 型网络中结合 Mamba 块,以一种高效、独立和分级的方式提取空间和光谱特征,进而有效地将空间和光谱信息进行融合,得到了优于其他融合技术的性能,证明了 FusionMamba 的有效性。
Apr, 2024
通过优化顺序建模的扫描方向,并采用局部扫描策略和动态方法,本文提出了 Vision Mamba (ViM) 模型的改进方法,大幅度提高了图像表示的效果。
Mar, 2024
本研究提出一种使用 Mamba 模型进行全局信息建模的新型 pan-sharpening 网络 ——Pan-Mamba,通过轻量级的交叉模态交互和利用内在的跨模态关系,实现高效的信息表示和融合,并在各种数据集上超过了现有方法,在 pan-sharpening 领域取得了卓越的融合结果,是对 Mamba 模型潜力的首次探索和全新的 pan-sharpening 技术前沿的建立。
Feb, 2024
该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法,并介绍了它们在不同层次的视觉任务中的广泛应用,旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。
Apr, 2024
通过基于状态空间模型的 VL-Mamba 多模态大语言模型和 2D 视觉选择扫描机制以及不同视觉编码器和预训练 Mamba 语言模型的组合的实证研究,我们证明了状态空间模型在多模态学习任务中具有巨大潜力,并展示了 VL-Mamba 在各种多模态基准测试中具有竞争力的性能。
Mar, 2024
提出了一种基于 FusionMamba 的动态特征增强方法,用于多模式图像融合,具有与 Mamba 相同的性能和全局建模能力,同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务(CT-MRI、PET-MRI、SPECT-MRI)、红外和可见图像融合任务(IR-VIS)以及多模式生物医学图像融合数据集(GFP-PC)中具有泛化能力。
Apr, 2024
在这篇综述性文章中,我们回顾了 Mamba 模型的起源和核心见解,并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织,为未来在这个快速发展的领域中提供了挑战和研究方向。
Apr, 2024
Mamba 是一种新型的人工智能架构,基于最新的状态空间模型,具有强大的效率和长距离依赖建模能力,被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了 Mamba 在视觉任务和数据类型上的应用,探讨了其前身、最新进展以及对各领域的深远影响。
May, 2024
通过创新性地提出 S^2Mamba,即一种适用于高光谱图像分类的空间 - 光谱状态空间模型,以发掘空间 - 光谱上下文特征,实现更高效准确的土地覆盖分析。
Apr, 2024
本文通过重新审视和调整 Mamba 模型,提出了 Q-Mamba,用于三个关键的图像质量评估任务,即任务特定型、通用型和可迁移型图像质量评估。同时,我们提出了 StylePrompt 调整范式,以提高 Q-Mamba 的可迁移性和感知转移能力,从而实现更好的图像质量评估效果。
Jun, 2024