Mar, 2024

关于 [V]-Mamba 的低样本迁移能力

PDF
TL;DR本文研究了大规模神经网络在少样本迁移学习中的能力，通过对 [V]-Mamba 模型与 ViTs 模型在不同少样本数据预算和高效迁移方法下的性能比较，发现 [V]-Mamba 在线性探测（LP）迁移方案下表现优于或等同于 ViTs，而在视觉提示（VP）迁移方法下表现较弱或类似于 ViTs，同时 [V]-Mamba 模型的规模与迁移方案之间存在弱正相关性。这项初步分析为进一步研究 [V]-Mamba 变体和 ViTs 之间的差异，以及它们的能力提供了基础。
large-scale neural networksvision transformers (vits)[v]-mambafew-shot transferlinear probing (lp)
发现论文，激发创造
  • Vision Mamba: 模型、应用和挑战综述

    在这篇综述性文章中，我们回顾了 Mamba 模型的起源和核心见解，并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织，为未来在这个快速发展的领域中提供了挑战和研究方向。

    Apr, 2024

  • VMamba：视觉状态空间模型

    基于卷积神经网络和视觉变换器，提出了一种名为 Visual State Space Model (VMamba) 的新型体系结构，具有线性复杂度和全局感受野，并在图像分辨率增加时展现出更明显的优势。

    Jan, 2024

  • Q-Mamba: 对图像质量评估首次探索视觉臂蛇

    本文通过重新审视和调整 Mamba 模型，提出了 Q-Mamba，用于三个关键的图像质量评估任务，即任务特定型、通用型和可迁移型图像质量评估。同时，我们提出了 StylePrompt 调整范式，以提高 Q-Mamba 的可迁移性和感知转移能力，从而实现更好的图像质量评估效果。

    Jun, 2024

  • CLIP-Mamba：OOD 和 Hessian 评估的 CLIP 预训练 Mamba 模型

    通过对比度语言图像预训练技术，本技术报告首次引入了训练可传输 Mamba 模型的方法。在 26 个零样本分类数据集和 16 个超出分布范围的数据集上，我们训练了不同规模的 Mamba 模型，并对其进行了全面评估。结果表明，具有 6700 万参数的 Mamba 模型在零样本分类任务中与具有 3.07 亿参数的 Vision Transformer 模型相媲美，突显了 Mamba 模型的参数效率。在超出分布范围的泛化测试中，基于 Mamba 的模型在图像对比度差异或经过高通滤波时表现出色。然而，Hessian 分析表明，与 ViT 模型相比，Mamba 模型的景观更加尖锐和非凸，使其更具挑战性。源代码可从此 URL 获得。

    Apr, 2024

  • LocalMamba：具有窗口选择性扫描的视觉状态空间模型

    通过优化顺序建模的扫描方向，并采用局部扫描策略和动态方法，本文提出了 Vision Mamba (ViM) 模型的改进方法，大幅度提高了图像表示的效果。

    Mar, 2024

  • 多尺度 VMamba: 层次化视觉状态空间模型

    通过分析多次扫描策略在多尺度视觉任务中的成功原因，本研究介绍了 Multi-Scale Vision Mamba（MSVMamba）模型，采用多尺度二维扫描技术并整合了卷积前馈网络（ConvFFN），在有限参数下保留了 State Space Models（SSMs）在视觉任务中的卓越性能。

    May, 2024

  • 高效 VMamba：轻量级 Mamba 的孔隙选择扫描

    基于轻量级模型开发的先前努力主要集中在 CNN 和 Transformer 基础设计上，但仍面临持久挑战。本研究受到 Mamba 等状态空间模型在语言建模和计算机视觉等多个任务中卓越表现和竞争力的启发，探索了视觉状态空间模型在轻量级模型设计中的潜力，并提出了一种新的高效模型变体 EfficientVMamba，通过有效的跳跃采样集成一种基于空洞的选择性扫描方法，构成旨在利用全局和局部表征特征的构件。此外，我们还调查了 SSM 模块与卷积之间的整合，并引入了一种高效的视觉状态空间块，结合了额外的卷积分支，进一步提高了模型的性能。实验结果表明，EfficientVMamba 降低了计算复杂性，同时在各种视觉任务中取得了有竞争力的结果。例如，我们的 EfficientVMamba-S 在 ImageNet 上对比 1.3G FLOPs 的 Vim-Ti 取得了大幅 5.6% 的准确率提升。代码可在以下链接找到: https://github.com/TerryPei/EfficientVMamba。

    Mar, 2024

  • VideoMambaPro：Mamba 视觉理解的重大进展

    通过对自我注意力和 Mamba 之间的差异进行理论分析，我们提出了 VideoMambaPro（VMP），通过向 VideoMamba 骨干结构添加掩码反向计算和元素残差连接来解决 Mamba 的两个限制，从而实现了卓越的视频动作识别性能，超过了 transformer 模型并获得了显著的优势。

    Jun, 2024

  • 视觉曼巴在遥感影像语义分割中的扫描策略重新思考：实验研究

    深度学习方法在高分辨率遥感图像的语义分割中扮演重要角色，主要采用卷积神经网络（CNN）和视觉 Transformer（ViT）。然而，CNN 由于有限的感受野而受限，而 ViT 则面临二次复杂度的挑战。最近，Mamba 模型因具有线性复杂性和全局感受野而引发广泛关注。此类任务需要将图像序列化为与 Mamba 模型兼容的序列。许多研究工作探索了能够增强 Mamba 模型对图像理解的扫描策略，但是这些扫描策略的有效性仍不确定。我们通过对 LoveDA、ISPRS Potsdam 和 ISPRS Vaihingen 数据集进行广泛实验，全面地探究了主流扫描方向及其组合对遥感图像的语义分割的影响。结果表明，无论复杂性或所涉及的扫描方向数量如何，没有一种单一的扫描策略优于其他策略。对于高分辨率遥感图像的语义分割，一个简单的单一扫描方向已被证明足够。同时，我们推荐了未来研究的相关方向。

    May, 2024

  • Mamba-R：Vision Mamba 也需要寄存器

    Vision Mamba 的特征图中存在与低信息背景区域中出现的高范数令牌对应的众多伪像，此问题通过向 Vision Mamba 引入寄存器令牌解决，改进后的 Mamba-R 架构在性能和扩展性方面具有更强的表现。

    May, 2024