FourierMamba: 基于状态空间模型的 Fourier 学习集成在图像去雨上的应用
FreqMamba 是一种利用图像去雨的有效且高效的方法,通过扩展 Mamba 与频率分析的结合来解决频率建模所涉及的全局降解感知问题,并且在图像去雨任务中展示出优于现有方法的视觉和定量性能。
Apr, 2024
该研究引入了状态空间模型(SSM)到雨滴去除中,并提出了一种去除雨滴方法,名为 Deraining Frequency-Enhanced State Space Model(DFSSM)。在该方法中,我们使用了频域处理方法和 SSM 来有效去除产生高强度频率成分的雨滴痕迹,并开发了一种新颖的混合尺度门控卷积块来捕捉不同尺度的退化并控制信息流的传递。最后,实验结果表明,我们的方法胜过现有的最新方法。
May, 2024
使用频率和空间域进行扫描的 Vim-F 模型通过在原有特征图上添加频谱信息,能够建模统一的视觉表示,充分利用 ViM 的高效长序列建模能力,并利用卷积干扰获取更多本地关联性,进一步提高性能。
May, 2024
提出了一种用于处理大规模远程感知图像超分辨率的频率辅助 Mamba 框架,通过多级融合结构和可学习的缩放适配器实现了准确的特征融合,相比于现有方法具有更高的峰值信噪比和更低的内存消耗和计算复杂度。
May, 2024
通过 MMR-Mamba 框架中 Mamba 和空间频率信息融合,从辅助模态获取的信息,实现了多对比度 MRI 加速成像和高质量重建目标图像,通过创新的策略有效融合了空间和频率领域的特征,避免冗余信息的引入。
Jun, 2024
图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合,生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法,通过在两个 U 型网络中结合 Mamba 块,以一种高效、独立和分级的方式提取空间和光谱特征,进而有效地将空间和光谱信息进行融合,得到了优于其他融合技术的性能,证明了 FusionMamba 的有效性。
Apr, 2024
SpectralMamba 是一种高效的深度学习框架,结合了状态空间模型来进行高光谱图像分类,通过学习动态掩膜和合并光谱的操作在隐藏状态空间中实现了选择性的响应,同时在计算效率和性能角度上取得了令人满意的成果。
Apr, 2024
通过基于曼巴的小波变换特征调制模型改进了红外图像超分辨率复原的上下文稀疏目标细节恢复,并证明了基于曼巴的模型在红外图像处理中的巨大潜力。
May, 2024
近年来,随着现代神经网络的进步,光场图像超分辨率(LFSR)取得了显著的进展。然而,这些方法往往在捕捉长距离依赖关系(基于 CNN)或遇到二次计算复杂性(基于 Transformer)方面面临挑战,从而限制了它们的性能。最近,基于状态空间模型(SSM)和选择性扫描机制(S6)的 Mamba 已成为各种视觉任务中传统 CNN 和 Transformer 方法的卓越替代方案,得益于其有效的长距离序列建模能力和线性时间复杂性。因此,将 S6 集成到 LFSR 中变得具有吸引力,特别是考虑到 4D 光场的大量数据量。然而,主要挑战在于设计适用于 4D 光场的适当扫描方法,以有效地对光场特征进行建模。为了解决这个问题,我们对 4D LFs 的信息性 2D 切片使用了 SSMs,以充分探索空间上下文信息、互补的角度信息和结构信息。为了实现这一点,我们精心设计了一个基本的 SSM 块,其特点是一个有效的 SS2D 机制,可以在这些 2D 切片上实现更有效和高效的特征学习。基于上述两个设计,我们进一步介绍了一种基于 SSM 的 LFSR 网络,称为 LFMamba。LF 基准测试的实验结果证明了 LFMamba 的卓越性能。此外,我们还进行了广泛的消融研究,以验证我们提出的方法的功效和泛化能力。我们希望我们的 LFMamba 能够为光场的有效表示学习提供启示。
Jun, 2024
提出了一种基于 FusionMamba 的动态特征增强方法,用于多模式图像融合,具有与 Mamba 相同的性能和全局建模能力,同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务(CT-MRI、PET-MRI、SPECT-MRI)、红外和可见图像融合任务(IR-VIS)以及多模式生物医学图像融合数据集(GFP-PC)中具有泛化能力。
Apr, 2024