Dimba: Transformer-Mamba 扩散模型
Diffusion Mamba (DiM) is a novel architecture that effectively addresses the computational complexity of traditional diffusion transformers (DiT) in image generation tasks while maintaining linear complexity with respect to sequence length, outperforming existing techniques and establishing a new benchmark for generative models.
May, 2024
提出了一种结合了 Mamba 和扩散模型的高效高分辨率图像合成方法 DiM,使用 ``weak-to-strong'' 训练策略和无需进一步微调的上采样策略提高训练和推理效率。
May, 2024
为了解决传统 attention 机制在高分辨率三维形状生成中的可扩展性问题,我们引入了一种新颖的基于 Mamba 架构的扩散生成模型(DiM-3D),通过利用 Mamba 架构的高效性和线性复杂度,DiM-3D 在维持线性复杂度的同时实现了快速推理时间和大大降低的计算需求,并在 ShapeNet 基准测试上实验结果证明其在生成高保真度和多样性的三维形状方面表现出卓越性能。
Jun, 2024
基于混合 Transformer-Mamba 和专家混合 (MoE) 架构,Jamba 是一个强大的基础大型语言模型,具有资源和目标特定的配置,能够在单个 80GB GPU 上提供高吞吐量和小内存占用,同时在标准语言模型基准测试和长文本上展示出最先进的表现。
Mar, 2024
应用 Mamba 的 State-Space 模型,通过引入一种名为 Zigzag Mamba 的方法来解决视觉数据生成中的缺陷,提升了速度和内存利用率,并将其与 Stochastic Interpolant 框架相结合以研究模型在大分辨率视觉数据集上的可扩展性。
Mar, 2024
通过将 Transformer 和 Mamba 架构相结合,PoinTramba 方法在点云分析领域取得了显著进展,并在 ScanObjectNN、ModelNet40 和 ShapeNetPart 等数据集上展示了优越的性能,从而为该领域建立了新的分析标准。
May, 2024
本文介绍了一种名为 Mamba-ND 的通用设计,将 Mamba 架构扩展到任意多维数据,并通过与其他替代方案的比较实证表明 Mamba-ND 在多个多维基准测试中表现出与最先进方法相竞争的性能。
Feb, 2024
本研究旨在使用潜在扩散模型(Latent Diffusion Model)对 CT 进行 MRI 转换,并将常用的 U-Net 或 Transformer 骨干换成一种名为 Mamba 的状态空间模型。实验证明 DiffMa 在医学图像生成任务中表现出令人印象深刻的性能,并在输入缩放效率方面具有明显优势。
Jun, 2024
通过引入两种新方法,Decision Mamba (DM) 和 Hierarchical Decision Mamba (HDM),增强了 Transformer 模型的性能,实验证明 Mamba 模型在大多数任务中优于 Transformer 模型,其中 HDM 在大多数环境中表现最好。
May, 2024
提出了一种基于 FusionMamba 的动态特征增强方法,用于多模式图像融合,具有与 Mamba 相同的性能和全局建模能力,同时降低通道冗余并增强本地增强能力。证明了该模型在各种多模式医学图像融合任务(CT-MRI、PET-MRI、SPECT-MRI)、红外和可见图像融合任务(IR-VIS)以及多模式生物医学图像融合数据集(GFP-PC)中具有泛化能力。
Apr, 2024