Jun, 2024

RoboMamba: 高效机器人推理和操作的多模态状态空间模型

PDF
TL;DR通过集成视觉编码器与 Mamba 模型，RoboMamba 同时提供了机器人推理和动作能力，并且在模型的微调和推断过程中保持了高效的计算速度。
robot manipulationmultimodal large language modelsstate space modelrobomambainference
发现论文，激发创造
  • VL-Mamba: 多模式学习中的状态空间模型探索

    通过基于状态空间模型的 VL-Mamba 多模态大语言模型和 2D 视觉选择扫描机制以及不同视觉编码器和预训练 Mamba 语言模型的组合的实证研究，我们证明了状态空间模型在多模态学习任务中具有巨大潜力，并展示了 VL-Mamba 在各种多模态基准测试中具有竞争力的性能。

    Mar, 2024

  • Vision Mamba: 一项综合调查与分类

    Mamba 是一种新型的人工智能架构，基于最新的状态空间模型，具有强大的效率和长距离依赖建模能力，被广泛应用于深度学习中的自然语言处理和视觉领域。本综述研究了 Mamba 在视觉任务和数据类型上的应用，探讨了其前身、最新进展以及对各领域的深远影响。

    May, 2024

  • 关于视觉曼巴的调查

    该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

    Apr, 2024

  • 视频曼巴组合套件：状态空间模型作为视频理解的多功能替代方案

    本研究通过广泛实验评估不同模型角色的 Mamba 对视频理解的潜力，探索其在视频理解领域的替代性，发现 Mamba 在仅视频和视频语言任务上展现出强大的潜力，并显示了有希望的效率 - 性能平衡，为未来的视频理解研究提供了宝贵的数据和见解。

    Mar, 2024

  • VideoMamba：高效视频理解的状态空间模型

    提出了一种名为 VideoMamba 的基于 Mamba 的视频理解方法，克服了现有 3D 卷积神经网络和视频变换器的限制，通过线性复杂度运算实现了高效的长视频建模，同时展示了在视觉域上的可扩展性、在短期行动识别上的敏感性、在长期视频理解上的优越性以及在多模态背景下的兼容性。

    Mar, 2024

  • 一种用于图像融合的局部增强和状态共享的新型状态空间模型

    基于 Mamba 算法的本地增强视觉 Mamba（LEVM）块和状态共享技术的图像融合网络（LE-Mamba）在多光谱和高光谱图像融合数据集上取得了最先进的结果，证明了该方法的有效性。

    Apr, 2024

  • 视觉曼巴：具有双向状态空间模型的高效视觉表示学习

    本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

    Jan, 2024

  • KalMamba：面向不确定下的高效概率状态空间模型的强化学习

    提出了 KalMamba—— 一种高效的架构，将概率状态空间模型与确定性状态空间模型的可伸缩性相结合，利用 Mamba 在潜在空间中学习线性高斯状态空间模型的动力学参数，并通过并行关联扫描实现标准卡尔曼滤波和平滑。实验证明，KalMamba 在强化学习中与最先进的 SSM 方法相媲美，同时在计算效率上显著提升，特别是在长时间交互序列中。

    Jun, 2024

  • 决策猛蛇：一种具有自我演进正则化的离线强化学习多粒度状态空间模型

    决策曼巴（DM）是一种新颖的多粒度状态空间模型（SSM），用于处理条件序列建模和 transformer 架构在离线强化学习（RL）任务中的应用。DM 通过使用曼巴架构明确地建模历史隐藏状态来提取时间信息，并通过细粒度 SSM 模块捕捉状态 - 动作 - 返回三元组之间的关系，从而进行了离线 RL 的定制设计。此外，通过使用渐进正则化来提出自我进化策略，以减轻噪声轨迹导致的过拟合问题。大量的任务实验表明，DM 明显优于其他基准模型。

    Jun, 2024

  • 计算效率时代：医学图像分析中状态空间模型的综合调查

    该论文通过对 Mamba 模型在医学图像中的应用进行全面回顾，介绍了该模型的架构、分类和未来研究方向。

    Jun, 2024