mamba | BriefGPT - AI 论文速递

关键词mamba

搜索结果 - 54

VideoMambaPro：Mamba 视觉理解的重大进展
通过对自我注意力和 Mamba 之间的差异进行理论分析，我们提出了 VideoMambaPro（VMP），通过向 VideoMamba 骨干结构添加掩码反向计算和元素残差连接来解决 Mamba 的两个限制，从而实现了卓越的视频动作识别性能，
PDF5 days ago
OTCE：混合 SSM 和注意力机制，通过跨领域专家混合构建观察者 - 思考者 - 构思者 - 表达者
将 Mamba 与 Transformer 架构相结合，利用二次自注意机制与有选择的状态空间处理长期依赖关系，并通过位置信息注入方法连接两种架构，设计了一种新的 Observer-Thinker-Conceiver-Expresser (O
PDF8 days ago
探索未知领域：从 Transformer 到 Mamba 的导航指南
综述了一种名为 Mamba 的机制，讨论了其在深度神经网络（例如 Transformer）和自然语言处理领域中的潜力、改进以及与其他网络的集成等相关研究方向。
PDF8 days ago
基于 Vision Mamba 的混凝土、沥青和砖石表面自动裂缝分割
本文提出了基于 Vision Mamba (VMamba) 的框架，用于对混凝土、沥青和砖石表面进行高准确度、广义化和较低计算复杂度的裂缝分割，相较于基于 CNN 的模型，使用 VMamba 的编码器 - 解码器网络能获得高达 2.8% 的
PDF8 days ago
基于曼巴的高效子空间扫描的光场超分辨率
本文基于选择性状态空间模型 Mamba，提出了一种基于 Mamba 的光场超分辨率方法 MLFSR，通过设计高效的子空间扫描策略来实现对高分辨率 4D 光场的全图像处理，显著提升了性能。
PDF9 days ago
DeciMamba: 探索 Mamba 的长度外推潜能
通过对 Mamba 的可推广长度进行可视化和分析，发现限制来自于训练阶段使用的序列长度，为了解决此限制，引入了一种特别设计给 Mamba 的上下文扩展方法 DeciMamba，通过 S6 层中嵌入的隐藏过滤机制，使得经过训练的模型即使没有额
PDF12 days ago
两个模型的共同思考因素
建筑差异对模型表示和处理语言的方式有显著影响。我们提出了一种基于度量学习编码模型（MLEMs）的新方法，作为回答这个问题的第一步。该方法通过特征比较来研究任意两个模型的任意两个层对语言信息的表示方式。我们将此方法应用于 BERT，GPT-2
PDF14 days ago
基于蟒蛇的语言模型的实证研究
选择性状态空间模型（SSMs）如 Mamba 克服了 Transformer 的一些缺点，例如与序列长度呈二次增长的计算复杂度和从键值缓存中获取大量的推理时间内存需求。此外，最近的研究显示，SSMs 可以达到或超越 Transformer
PDF20 days ago
用 Mamba 在视觉中进行自回归预训练
Mamba 的视觉能力可以通过自回归预训练显著增强，而且可以成功解锁其大规模模型尺寸的潜力。
PDF21 days ago
MHS-VM：多头并行子空间扫描用于视觉玛巴
提出了一种基于 State Space Models 的 Multi-Head Scan (MHS) 模块，通过 1D selective scan 在 2D 图像空间内构建视觉特征，结合了 Scan Route Attention (SR
PDF22 days ago
PointABM：Point Cloud 分析中融合双向状态空间模型与多头自注意力
基于状态空间模型（SSM）的 Mamba 与 Transformer 架构相结合的 PointABM 模型，在改善局部特征以提高 3D 点云分析性能方面表现出优越性，并通过引入双向 SSM 框架和自注意机制进一步增强了特征提取能力，实验证明
PDF22 days ago
HDMba: 带状态空间模型的高光谱遥感图像去雾
基于长距离依赖模型 Mamba，本研究提出了第一个用于高光谱图像去霾的 HSI Dehazing Mamba (HDMba) 网络，通过设计了一个新颖的窗口选择性扫描模块 (WSSM)，以及由 WSSM 和残差 DehazeMamba (R
PDF23 days ago
音频曼巴：用于音频表示学习的双向状态空间模型
通过引入纯 SSM（state space models）模型的音频分类模型 AuM，我们探讨了自注意力是否对音频分类任务至关重要，并在六个不同基准数据集上评估 AuM 的表现，结果表明它在性能上与已建立的 AST 模型相当或更好。
PDFa month ago
Dimba: Transformer-Mamba 扩散模型
该论文介绍了 Dimba，一种新的文本到图像扩散模型，它采用了一种独特的混合架构，结合了 Transformer 和 Mamba 元素。
PDFa month ago
MGI: 基因组和医学影像的多模态对比预训练
提出了一种多模态预训练框架，通过整合基因组学和医学图像数据，在肿瘤分割任务中优于相关方法。
PDFa month ago
ICML变压器是 SSM：通过结构化状态空间对偶实现的广义模型和高效算法
Transformers 与 state-space models（包括 Mamba）存在相关性，通过结构化半可分矩阵的各种分解，我们开发了一个理论连接的丰富框架，证明了这些模型家族之间的联系。基于我们的 state space duali
PDFa month ago
利用蒙特卡洛任意掩蔽法提高医学图像重建的全局敏感度和不确定性量化
提出了一种使用 MambaMIR 和 MambaMIR-GAN 进行医学图像重建和不确定性估计的方法，通过 Arbitrary-Masked Mamba-based 模型和波尔塔斯转换结合，实现了最佳的重建保真度和感知质量。
PDFa month ago
解读视觉中的莽巴：线性注意力视角
探索了 Mamba 模型与线性注意力 Transformer 之间的相似性和差异性，发现忘记门和块设计是 Mamba 模型成功的核心因素，并通过融合这两个关键设计提出了 Mamba-Like Linear Attention (MLLA)
PDFa month ago
NIPSPoinTramba：一个用于点云分析的混合 Transformer-Mamba 框架
通过将 Transformer 和 Mamba 架构相结合，PoinTramba 方法在点云分析领域取得了显著进展，并在 ScanObjectNN、ModelNet40 和 ShapeNetPart 等数据集上展示了优越的性能，从而为该领域
PDFa month ago
Mamba 在离线强化学习中是否与轨迹优化兼容？
本研究目的是通过全面的实验，从数据结构和网络架构的角度探索决策 Mamba 在离线强化学习中的潜力，证明它与轨迹优化的兼容性，并超越了以往最先进的方法。
PDFa month ago