May, 2024

使用双向 SSM 扩展 Diffusion Mamba 以实现高效图像和视频生成

PDF
TL;DRDiffusion Mamba (DiM) is a novel architecture that effectively addresses the computational complexity of traditional diffusion transformers (DiT) in image generation tasks while maintaining linear complexity with respect to sequence length, outperforming existing techniques and establishing a new benchmark for generative models.
mamba architecturediffusion transformersimage generationefficiencygenerative models
发现论文，激发创造
  • 基于双向 SSM 的扩散曼巴高效三维形状生成

    为了解决传统 attention 机制在高分辨率三维形状生成中的可扩展性问题，我们引入了一种新颖的基于 Mamba 架构的扩散生成模型（DiM-3D），通过利用 Mamba 架构的高效性和线性复杂度，DiM-3D 在维持线性复杂度的同时实现了快速推理时间和大大降低的计算需求，并在 ShapeNet 基准测试上实验结果证明其在生成高保真度和多样性的三维形状方面表现出卓越性能。

    Jun, 2024

  • DiM: 高效高分辨率图像合成的扩散灰曼巴

    提出了一种结合了 Mamba 和扩散模型的高效高分辨率图像合成方法 DiM，使用 ``weak-to-strong'' 训练策略和无需进一步微调的上采样策略提高训练和推理效率。

    May, 2024

  • Dimba: Transformer-Mamba 扩散模型

    该论文介绍了 Dimba，一种新的文本到图像扩散模型，它采用了一种独特的混合架构，结合了 Transformer 和 Mamba 元素。

    Jun, 2024

  • ZigMa: 蜿蜒进化扩散模型

    应用 Mamba 的 State-Space 模型，通过引入一种名为 Zigzag Mamba 的方法来解决视觉数据生成中的缺陷，提升了速度和内存利用率，并将其与 Stochastic Interpolant 框架相结合以研究模型在大分辨率视觉数据集上的可扩展性。

    Mar, 2024

  • 视觉曼巴：具有双向状态空间模型的高效视觉表示学习

    本文提出了一种新的通用计算机视觉基础模型 Vim，该模型采用双向状态空间模型对图像序列进行标记并压缩视觉表示，并在 ImageNet 分类、COCO 目标检测和 ADE20k 语义分割任务中取得了比 DeiT 等常见视觉转换器更高的性能，同时具有显著提高的计算和内存效率。

    Jan, 2024

  • SiMBA: 简化的基于 Mamba 的视觉与多元时间序列架构

    提出了一种新的体系结构 SiMBA，通过特定特征值计算引入 Einstein FFT（EinFFT）用于通道建模，使用 Mamba 块进行序列建模，通过对图像和时间序列基准的广泛性能研究证明 SiMBA 在性能上优于现有的 SSMs，缩小与现有的 transformers 的性能差距。

    Mar, 2024

  • VM-DDPM：医学图像合成的视觉曼巴扩散

    基于 SMM-CNN 混合结构的 Vision Mamba DDPM（VM-DDPM）用于医学图像合成，通过多级状态空间块（MSSBlock）、状态空间层（SSLayer）和交叉扫描模块（CSM）等方法，在三个不同规模的数据集上取得最先进的性能。

    May, 2024

  • CT 到 MRI 转换的软遮罩曼巴扩散模型

    本研究旨在使用潜在扩散模型（Latent Diffusion Model）对 CT 进行 MRI 转换，并将常用的 U-Net 或 Transformer 骨干换成一种名为 Mamba 的状态空间模型。实验证明 DiffMa 在医学图像生成任务中表现出令人印象深刻的性能，并在输入缩放效率方面具有明显优势。

    Jun, 2024

  • 关于视觉曼巴的调查

    该研究综述了 Mamba 模型在计算机视觉领域的基本概念和优化方法，并介绍了它们在不同层次的视觉任务中的广泛应用，旨在引起学术界对当前挑战的关注并进一步应用 Mamba 模型于计算机视觉。

    Apr, 2024

  • Mamba：具有选择性状态空间的线性时间序列建模

    基于 Transformer 架构的基础模型凭借其核心注意力模块，驱动着深度学习中大部分令人兴奋的应用。我们发现这种模型的一个关键弱点是其无法进行内容导向的推理，并对此进行了改进，通过让结构状态空间模型（SSMs）参数成为输入的函数来解决离散模态的弱点，该模型在长度可选的维度上选择性地传播或遗忘信息，并且通过在递归模式下设计一种硬件感知并行算法，将这些选择性 SSMs 集成到简化的端到端神经网络架构中。该模型（Mamba）具有快速推断速度（比 Transformers 快 5 倍）和序列长度的线性扩展，并在实际数据上对长达百万长度的序列显示出改进。作为一种基于通用序列模型的支持，Mamba 在语言、音频和基因组等多个模态上实现了最先进的性能。在语言建模中，我们的 Mamba-3B 模型在预训练和下游评估中均优于同样大小的 Transformers，与其两倍大小的模型性能相当。

    Dec, 2023