MambaTalk:带选择性状态空间模型的高效整体手势合成
提出了一种简单高效的运动生成模型,利用了状态空间模型进行建模,并通过分层时序 Mamba (HTM) 块和双向空间 Mamba (BSM) 块来处理时序和姿态信息,从而实现了高质量、长序列的运动生成和实时人体动作生成。
Mar, 2024
通过集成视觉编码器与 Mamba 模型,RoboMamba 同时提供了机器人推理和动作能力,并且在模型的微调和推断过程中保持了高效的计算速度。
Jun, 2024
基于 Rough Path Theory,本研究证明了具备选择性机制的随机线性递归在输入控制条件下可产生低维投射的隐藏状态,并阐述了现代选择性状态空间模型的成功和未来 SSM 变体的表达能力。
Feb, 2024
Mamba 是一种新型的人工智能架构,基于最新的状态空间模型,具有强大的效率和长距离依赖建模能力,被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了 Mamba 在视觉任务和数据类型上的应用,探讨了其前身、最新进展以及对各领域的深远影响。
May, 2024
基于 Transformer 架构的基础模型凭借其核心注意力模块,驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理,并对此进行了改进,通过让结构状态空间模型(SSMs)参数成为输入的函数来解决离散模态的弱点,该模型在长度可选的维度上选择性地传播或遗忘信息,并且通过在递归模式下设计一种硬件感知并行算法,将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型(Mamba)具有快速推断速度(比 Transformers 快 5 倍)和序列长度的线性扩展,并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持,Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中,我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers,与其两倍大小的模型性能相当。
Dec, 2023
MambaMixer 是一种基于 State Space Models 的新型架构,通过数据依赖的权重使用选择性令牌和通道混合的方法,提供有效的长序列建模,在各种视觉和时间序列预测任务中展现出竞争性性能和显著改进的计算成本。
Mar, 2024
本研究介绍了 Graph-Mamba,通过将 Mamba block 与依赖于输入的节点选择机制进行整合,增强了图网络中的长程上下文建模,从而显著提高了预测性能。通过对十个基准数据集的广泛实验,证明 Graph-Mamba 在长程图预测任务中胜过最先进的方法,且在 FLOPs 和 GPU 内存消耗方面计算成本只占一小部分。
Feb, 2024
通过多模态学习,结合病理图像和基因组数据,可以显著提高生存预测的准确性。本研究提出了一种多粒度多模态交互的结构化状态空间模型(SurvMamba),用于生存预测。通过 Hierarchical Interaction Mamba(HIM)模块实现高效的模态内部交互以捕捉更详细的局部特征和丰富的全局表示。同时,采用 Interaction Fusion Mamba(IFM)模块进行级联的模态间交互融合,提供更全面的特征用于生存预测。在五个 TCGA 数据集上的全面评估表明,SurvMamba 在性能和计算成本方面优于其他现有方法。
Apr, 2024
序列建模是跨多个领域的一个关键领域,包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上,循环神经网络(RNNs)和长短时记忆网络(LSTMs)在机器翻译、命名实体识别等序列建模任务中占主导地位,但转换器的进步改变了这一范式,因为其性能更优越。然而,转换器面临 O (N^2) 注意力复杂度和处理归纳偏差的挑战。各种改进方法已被提出来应对这些问题,其中使用频谱网络或卷积在一些任务上表现良好,但仍然难以处理长序列。状态空间模型(SSMs)已经成为此背景下序列建模范式的有希望的可替代选择,特别是随着 S4 及其变种(如 S4nd、Hippo、Hyena、Diagnol State Spaces(DSS)、Gated State Spaces(GSS)、Linear Recurrent Unit(LRU)、Liquid-S4、Mamba 等)的出现。本综述将基于门控结构、结构体系和循环结构对基础 SSMs 进行分类,还重点介绍了 SSMs 在视觉、视频、音频、语音、语言(特别是长序列建模)、医疗(包括基因组学)、化学(如药物设计)、推荐系统和时间序列分析等领域的不同应用。此外,我们总结了 SSMs 在长序列竞技场(LRA)、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2 以及早餐、硬币、LVU 等各种时间序列数据集上的性能。有关 Mamba-360 工作的项目页面可在此网页上找到:https://github.com/badripatro/mamba360。
Apr, 2024