Feb, 2024

单幅图像去雾的 U 型视觉猛蛇

PDF
TL;DR提出了一种名为 UVM-Net 的高效单图像去雾网络，结合了 Transformer 和 State Space Sequence Models (SSMs) 的能力，能够更有效地建模长距离依赖关系，并在图像去雾和其他图像恢复任务中取得了良好的效果。
transformerimage dehazinguvm-netstate space sequence modelslong-range dependency
发现论文，激发创造
  • VM-UNET-V2 在医学图像分割中重新思考 Vision Mamba UNet

    在医学图像分割领域，CNN 和 Transformer 基于模型已经进行了深入研究。然而，CNN 对长距离依赖的建模能力有限，使得充分利用图像内的语义信息变得具有挑战性。另一方面，Transformer 的二次计算复杂性提出了挑战。最近，基于状态空间模型（SSMs）的方法，如 Mamba，被认为是一种有希望的方法。它们不仅在建模长程交互方面表现出卓越性能，而且保持了线性计算复杂性。受到 Mamba 架构的启发，我们提出了 Vision Mamba-UNetV2，引入了 Visual State Space（VSS）块来捕捉广泛的上下文信息，引入 Semantics and Detail Infusion（SDI）来增强低级和高级特征的融合。我们在 ISIC17、ISIC18、CVC-300、CVC-ClinicDB、Kvasir、CVC-ColonDB 和 ETIS-LaribPolypDB 等公共数据集上进行了全面的实验。结果表明，VM-UNetV2 在医学图像分割任务中表现出竞争力。我们的代码可在此网址获得

    Mar, 2024

  • VM-UNet: 医学图像分割的视觉蛇视 UNet

    本研究提出了一种基于状态空间模型的医学图像分割模型 Vision Mamba UNet (VM-UNet)，通过引入 Visual State Space (VSS) 块以捕获广泛的上下文信息，并构建了一个不对称的编码器 - 解码器结构。实验结果表明，VM-UNet 在医学图像分割任务中具有竞争力。此外，该模型是首个基于纯 SSM 模型构建的医学图像分割模型，旨在为未来开发更高效、更有效的 SSM 分割系统奠定基础并提供有价值的见解。

    Feb, 2024

  • U-Mamba: 提高生物医学图像分割的长程依赖性

    基于深度序列模型的 U-Mamba 是一种适用于医学图像分割的通用网络，通过融合卷积层的局部特征提取能力与序列模型的长距离依赖捕捉能力，能够自适应不同数据集并在各种任务中取得优于当前基于 CNN 和 Transformer 的分割网络的结果，为医学图像分析中高效建模长距离依赖开辟了新的途径。

    Jan, 2024

  • RSDehamba: 轻量级遥感卫星图像去雾视觉麻蛇

    基于 RSDhamba 的轻量级网络，将选择性状态空间模型（SSM）整合到 U-Net 架构中，通过视觉 Dehamba 块（VDB）实现全局上下文编码，并通过 Direction-aware Scan 模块（DSM）动态聚合特征交换，以有效增强对空间变化的雾分布的灵活性。实验结果验证了我们的 RSDehamba 相对于现有最先进方法的卓越性能。

    May, 2024

  • HDMba: 带状态空间模型的高光谱遥感图像去雾

    基于长距离依赖模型 Mamba，本研究提出了第一个用于高光谱图像去霾的 HSI Dehazing Mamba (HDMba) 网络，通过设计了一个新颖的窗口选择性扫描模块 (WSSM)，以及由 WSSM 和残差 DehazeMamba (RDM) 块构成的 DehazeMamba layer (DML)，实现了对复杂的雾霾分布的准确建模，从而在场景重建和去霾方面取得了优于其他最先进方法的效果。

    Jun, 2024

  • 多尺度 VMamba: 层次化视觉状态空间模型

    通过分析多次扫描策略在多尺度视觉任务中的成功原因，本研究介绍了 Multi-Scale Vision Mamba（MSVMamba）模型，采用多尺度二维扫描技术并整合了卷积前馈网络（ConvFFN），在有限参数下保留了 State Space Models（SSMs）在视觉任务中的卓越性能。

    May, 2024

  • VmambaIR：图像修复的视觉状态空间模型

    我们提出了 VmambaIR，这是一种综合图像恢复任务的方法，它将线性复杂度的状态空间模型引入其中，通过有效地建模图像信息在各个方向上的流动来克服了状态空间模型的单向建模限制，并在图像去雨、单幅图像超分辨率和实际图像超分辨率等多个图像恢复任务上取得了最先进的性能。

    Mar, 2024

  • 单幅图像除雾的视觉 Transformer

    本文提出了 DehazeFormer，一种用于图像去雾的改进模型，比传统模型具有更好的效果。模型在多个数据集上进行了实验，表明 DehazeFormer 比当前最先进的方法表现更好。此外，我们还采集了大规模实际遥感去雾数据集来评估该方法的能力。

    Apr, 2022

  • H-vmunet: 高阶视觉 Mamba UNet 用于医学图像分割

    该研究设计了一种基于状态空间模型的高阶视觉 Mamba UNet (H-vmunet) 用于医学图像分割，其中提出的高阶 2D 选择性扫描 (H-SS2D) 模块通过更高阶的交互逐渐减少冗余信息的引入，提高了 2D 选择性扫描操作的适应性，并且所提出的局部 SS2D 模块改进了每个交互阶段中局部特征的学习能力。通过对三个公开可用的医学图像数据集（ISIC2017、Spleen 和 CVC-ClinicDB）进行对比和消融实验，研究结果显示了 H-vmunet 在医学图像分割任务中的强大竞争力。

    Mar, 2024

  • 视觉曼巴：具有双向状态空间模型的高效视觉表示学习

    本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

    Jan, 2024