关于视觉曼巴的调查
在这篇综述性文章中,我们回顾了 Mamba 模型的起源和核心见解,并将 Mamba 应用于不同的计算机视觉任务。我们对各种图像、视频、点云、多模态等应用进行了分类和组织,为未来在这个快速发展的领域中提供了挑战和研究方向。
Apr, 2024
Mamba 是一种新型的人工智能架构,基于最新的状态空间模型,具有强大的效率和长距离依赖建模能力,被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了 Mamba 在视觉任务和数据类型上的应用,探讨了其前身、最新进展以及对各领域的深远影响。
May, 2024
本研究通过广泛实验评估不同模型角色的 Mamba 对视频理解的潜力,探索其在视频理解领域的替代性,发现 Mamba 在仅视频和视频语言任务上展现出强大的潜力,并显示了有希望的效率 - 性能平衡,为未来的视频理解研究提供了宝贵的数据和见解。
Mar, 2024
基于 Transformer 架构的基础模型凭借其核心注意力模块,驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理,并对此进行了改进,通过让结构状态空间模型(SSMs)参数成为输入的函数来解决离散模态的弱点,该模型在长度可选的维度上选择性地传播或遗忘信息,并且通过在递归模式下设计一种硬件感知并行算法,将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型(Mamba)具有快速推断速度(比 Transformers 快 5 倍)和序列长度的线性扩展,并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持,Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中,我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers,与其两倍大小的模型性能相当。
Dec, 2023
本文提出了一种新的通用计算机视觉基础模型 Vim,该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示,并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能,同时具有显著提高的计算和内存效率。
Jan, 2024
Mamba 适用于具有长序列和自回归特性的任务,但不适用于图像分类;Mamba 在目标检测和分割任务中表现不如注意力模型,但显示出在长序列视觉任务中的潜力。
May, 2024
探索了 Mamba 模型与线性注意力 Transformer 之间的相似性和差异性,发现忘记门和块设计是 Mamba 模型成功的核心因素,并通过融合这两个关键设计提出了 Mamba-Like Linear Attention (MLLA) 模型,该模型在图像分类和高分辨率密集预测任务中优于多种视觉任务中的 Mamba 模型,同时具有可并行计算和快速推理速度。
May, 2024
Medical image classification using Vision Mamba, a novel Conv-SSM module that combines convolutional layers with state space model, demonstrates promising results in detecting lesions, establishing a new baseline for the field.
Mar, 2024