基于多尺度结构化状态空间模型的可扩展高效图像恢复
本文提出了一种简单而有效的视觉状态空间模型(EVSSM)用于图像去模糊,在图像恢复任务中,相比卷积神经网络(CNNs)和视觉 Transformer(ViTs),EVSSM 相对于其它方法在基准数据集和真实捕捉的图像上表现出色。
May, 2024
我们提出了 VmambaIR,这是一种综合图像恢复任务的方法,它将线性复杂度的状态空间模型引入其中,通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制,并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。
Mar, 2024
ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.
Oct, 2023
通过引入 Residual State Space Block 作为核心组件,该研究提出了一种名为 MambaIR 的简单而强大的基准模型,利用卷积和通道注意力增强了 vanilla Mamba 的能力,从而利用局部补丁的重复特性和通道交互产生特定于恢复的特征表示。广泛的实验证明了我们方法的优越性,例如,MambaIR 在类似计算成本但具有全局感受野的情况下,比基于 Transformer 的基准模型 SwinIR 提高了 0.36dB。
Feb, 2024
图像融合是通过将具有有限光谱信息的高分辨率图像与具有丰富光谱数据的低分辨率图像相结合,生成高分辨率的多 / 高光谱图像。本文提出了一种名为 FusionMamba 的创新方法,通过在两个 U 型网络中结合 Mamba 块,以一种高效、独立和分级的方式提取空间和光谱特征,进而有效地将空间和光谱信息进行融合,得到了优于其他融合技术的性能,证明了 FusionMamba 的有效性。
Apr, 2024
该论文提出了一种用于图像恢复的机制,通过锚定条纹自注意力机制,GRL 网络架构和其他技术能够明确地建模全局、区域和局部范围内的图像层次结构,并在 7 种图像恢复类型中取得了最新的研究成果。
Mar, 2023
该研究引入了状态空间模型(SSM)到雨滴去除中,并提出了一种去除雨滴方法,名为 Deraining Frequency-Enhanced State Space Model(DFSSM)。在该方法中,我们使用了频域处理方法和 SSM 来有效去除产生高强度频率成分的雨滴痕迹,并开发了一种新颖的混合尺度门控卷积块来捕捉不同尺度的退化并控制信息流的传递。最后,实验结果表明,我们的方法胜过现有的最新方法。
May, 2024
该文提出了一种视频超分辨率方法 FastRealVSR,使用了 Hidden State Attention 和 Selective Cross Attention 模块来减轻现实世界视频超分辨率中隐藏状态中的不良伪影。通过使用这些过滤器来产生更清洁的隐藏状态池,该方法能够在速度提升 2 倍的同时获得比 Real-BasicVSR 更好的性能。
Dec, 2022
通过分析多次扫描策略在多尺度视觉任务中的成功原因,本研究介绍了 Multi-Scale Vision Mamba(MSVMamba)模型,采用多尺度二维扫描技术并整合了卷积前馈网络(ConvFFN),在有限参数下保留了 State Space Models(SSMs)在视觉任务中的卓越性能。
May, 2024