GroupMamba: 参数高效、准确的群组视觉状态空间模型
本文提出了一种新的通用计算机视觉基础模型Vim,该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示,并在ImageNet分类、COCO目标检测和ADE20k语义分割任务中取得了比DeiT等常见视觉转换器更高的性能,同时具有显著提高的计算和内存效率。
Jan, 2024
通过优化顺序建模的扫描方向,并采用局部扫描策略和动态方法,本文提出了Vision Mamba (ViM)模型的改进方法,大幅度提高了图像表示的效果。
Mar, 2024
基于轻量级模型开发的先前努力主要集中在CNN和Transformer基础设计上,但仍面临持久挑战。本研究受到Mamba等状态空间模型在语言建模和计算机视觉等多个任务中卓越表现和竞争力的启发,探索了视觉状态空间模型在轻量级模型设计中的潜力,并提出了一种新的高效模型变体EfficientVMamba,通过有效的跳跃采样集成一种基于空洞的选择性扫描方法,构成旨在利用全局和局部表征特征的构件。此外,我们还调查了SSM模块与卷积之间的整合,并引入了一种高效的视觉状态空间块,结合了额外的卷积分支,进一步提高了模型的性能。实验结果表明,EfficientVMamba降低了计算复杂性,同时在各种视觉任务中取得了有竞争力的结果。例如,我们的EfficientVMamba-S在ImageNet上对比1.3G FLOPs的Vim-Ti取得了大幅5.6%的准确率提升。代码可在以下链接找到: https://github.com/TerryPei/EfficientVMamba。
Mar, 2024
提出了一种新的体系结构SiMBA,通过特定特征值计算引入Einstein FFT(EinFFT)用于通道建模,使用Mamba块进行序列建模,通过对图像和时间序列基准的广泛性能研究证明SiMBA在性能上优于现有的SSMs,缩小与现有的transformers的性能差距。
Mar, 2024
PlainMamba是一种简单的非层次化状态空间模型(SSM),用于通用视觉识别,通过选择性扫描过程将Mamba模型应用于视觉领域,提高其从二维图像中学习特征的能力,并通过在扫描序列中保证标记相邻性的连续2D扫描过程以及具有方向性的更新来区分标记的空间关系。我们的架构易于使用和扩展,通过堆叠相同的PlainMamba块形成宽度恒定的模型,同时去除了特殊标记的需求。我们在包括图像分类、语义分割、目标检测和实例分割在内的多种视觉识别任务上评估了PlainMamba。与以前的非层次化模型相比,我们的方法取得了性能提升,并且与层次化模型相媲美。尤其对于需要高分辨率输入的任务,PlainMamba在保持高性能的同时需要更少的计算资源。
Mar, 2024
该研究综述了Mamba模型在计算机视觉领域的基本概念和优化方法,并介绍了它们在不同层次的视觉任务中的广泛应用,旨在引起学术界对当前挑战的关注并进一步应用Mamba模型于计算机视觉。
Apr, 2024
在这篇综述性文章中,我们回顾了Mamba模型的起源和核心见解,并将Mamba应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织,为未来在这个快速发展的领域中提供了挑战和研究方向。
Apr, 2024
Mamba是一种新型的人工智能架构,基于最新的状态空间模型,具有强大的效率和长距离依赖建模能力,被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了Mamba在视觉任务和数据类型上的应用,探讨了其前身、最新进展以及对各领域的深远影响。
May, 2024
通过分析多次扫描策略在多尺度视觉任务中的成功原因,本研究介绍了Multi-Scale Vision Mamba(MSVMamba)模型,采用多尺度二维扫描技术并整合了卷积前馈网络(ConvFFN),在有限参数下保留了State Space Models(SSMs)在视觉任务中的卓越性能。
May, 2024
本研究解决了现有视覺Mamba模型在医学图像分割中的局部与全局依赖问题。提出的LoG-VMamba通过在通道轴上明确保持空阔相邻的标记,并以压缩形式保留全局上下文,从而实现了高效的局部和全局上下文访问。结果显示,LoG-VMamba在多种2D和3D医学图像分割任务中显著优于传统CNN和Transformer模型。
Aug, 2024