May, 2024

Mamba-R：Vision Mamba 也需要寄存器

PDF
TL;DRVision Mamba 的特征图中存在与低信息背景区域中出现的高范数令牌对应的众多伪像，此问题通过向 Vision Mamba 引入寄存器令牌解决，改进后的 Mamba-R 架构在性能和扩展性方面具有更强的表现。
vision mambaartifactsregister tokensmamba-r architectureperformance
发现论文，激发创造
  • MambaOut：我们是否真的需要 Mamba 来进行视觉任务？

    Mamba 适用于具有长序列和自回归特性的任务，但不适用于图像分类；Mamba 在目标检测和分割任务中表现不如注意力模型，但显示出在长序列视觉任务中的潜力。

    May, 2024

  • 用 Mamba 在视觉中进行自回归预训练

    Mamba 的视觉能力可以通过自回归预训练显著增强，而且可以成功解锁其大规模模型尺寸的潜力。

    Jun, 2024

  • Vision Mamba: 模型、应用和挑战综述

    在这篇综述性文章中，我们回顾了 Mamba 模型的起源和核心见解，并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织，为未来在这个快速发展的领域中提供了挑战和研究方向。

    Apr, 2024

  • 关于视觉曼巴的调查

    该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

    Apr, 2024

  • Q-Mamba: 对图像质量评估首次探索视觉臂蛇

    本文通过重新审视和调整 Mamba 模型，提出了 Q-Mamba，用于三个关键的图像质量评估任务，即任务特定型、通用型和可迁移型图像质量评估。同时，我们提出了 StylePrompt 调整范式，以提高 Q-Mamba 的可迁移性和感知转移能力，从而实现更好的图像质量评估效果。

    Jun, 2024

  • 视觉曼巴：具有双向状态空间模型的高效视觉表示学习

    本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

    Jan, 2024

  • VideoMambaPro：Mamba 视觉理解的重大进展

    通过对自我注意力和 Mamba 之间的差异进行理论分析，我们提出了 VideoMambaPro（VMP），通过向 VideoMamba 骨干结构添加掩码反向计算和元素残差连接来解决 Mamba 的两个限制，从而实现了卓越的视频动作识别性能，超过了 transformer 模型并获得了显著的优势。

    Jun, 2024

  • ReMamber：基于 Mamba Twister 的图像引用分割

    提出了一种新颖的 RIS 架构 ReMamber，该架构整合了 Mamba 的能力与多模态 Mamba Twister 块，并通过独特的通道和空间扭曲机制融合文本和视觉特征，在三个具有挑战性的基准测试中取得了最新的研究成果，并对 ReMamber 进行了深入的分析，讨论了使用 Mamba 的其他融合设计，为未来研究提供了有价值的视角。

    Mar, 2024

  • 视觉曼巴在遥感影像语义分割中的扫描策略重新思考：实验研究

    深度学习方法在高分辨率遥感图像的语义分割中扮演重要角色，主要采用卷积神经网络（CNN）和视觉 Transformer（ViT）。然而，CNN 由于有限的感受野而受限，而 ViT 则面临二次复杂度的挑战。最近，Mamba 模型因具有线性复杂性和全局感受野而引发广泛关注。此类任务需要将图像序列化为与 Mamba 模型兼容的序列。许多研究工作探索了能够增强 Mamba 模型对图像理解的扫描策略，但是这些扫描策略的有效性仍不确定。我们通过对 LoveDA、ISPRS Potsdam 和 ISPRS Vaihingen 数据集进行广泛实验，全面地探究了主流扫描方向及其组合对遥感图像的语义分割的影响。结果表明，无论复杂性或所涉及的扫描方向数量如何，没有一种单一的扫描策略优于其他策略。对于高分辨率遥感图像的语义分割，一个简单的单一扫描方向已被证明足够。同时，我们推荐了未来研究的相关方向。

    May, 2024

  • LocalMamba：具有窗口选择性扫描的视觉状态空间模型

    通过优化顺序建模的扫描方向，并采用局部扫描策略和动态方法，本文提出了 Vision Mamba (ViM) 模型的改进方法，大幅度提高了图像表示的效果。

    Mar, 2024