Jun, 2024

$Δ$-DiT：一种为扩散变换器量身定制的无需训练的加速方法

PDF
TL;DR通过调查 DiT 块与图像生成之间的相关性，发现 DiT 的前述块与生成图像的轮廓有关，而后述块与细节有关。基于此，我们提出了一个全面的无需训练的推断加速框架 Delta-DiT，采用设计的缓存机制来加速早期采样阶段的后述 DiT 块和后期阶段的前述 DiT 块。在 PIXART-alpha 和 DiT-XL 上的大量实验证明，Delta-DiT 在 20 步生成时可以实现 1.6 倍加速，并在大多数情况下性能提高。在 4 步一致模型生成和更具挑战性的 1.12 倍加速的情况下，我们的方法显著优于现有方法。我们的代码将公开提供。
diffusion modelsdit structureimage generationacceleration frameworkdit-specific cache mechanism
发现论文，激发创造
  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • TerDiT: 基于 Transformer 的三元扩散模型

    我们提出了 TerDiT，一种针对具有 transformer 的三态扩散模型的量化感知训练（QAT）和有效部署方案，致力于探索大规模 DiT 模型的高效部署策略，展示了从头开始训练极低比特扩散变压器模型的可行性，同时保持与全精度模型相比有竞争力的图像生成能力。

    May, 2024

  • U-DiTs：在 U 形扩散变压器中降采样 Token

    将变换器架构引入扩散任务，对潜在空间图像生成进行了研究，发现 U-Net 架构只在 U-Net 归纳偏差中略有优势，提出了 U 型扩散变换器（U-DiT）模型，通过降低计算量并在自注意力中进行令牌下采样，在性能上超过了 DiT-XL/2。

    May, 2024

  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • DiTFastAttn：扩散变压器模型的注意力压缩

    Diffusion Transformers（DiT）在图像和视频生成方面表现出色，但由于自注意力的二次复杂度而面临计算挑战。我们提出 DiTFastAttn，这是一种新颖的后训练压缩方法，用于减轻 DiT 的计算瓶颈。我们确定了 DiT 推理过程中注意力计算中的三个关键冗余：1. 空间冗余，即许多注意力头部关注局部信息；2. 时间冗余，即相邻步骤的注意力输出之间存在高相似性；3. 条件冗余，即条件和无条件推理之间存在显著相似性。为了解决这些冗余，我们提出了三种技术：1. 带残留缓存的窗口注意力，以减少空间冗余；2. 时间相似性减少，以利用步骤之间的相似性；3. 条件冗余消除，以在条件生成过程中跳过冗余计算。为了证明 DiTFastAttn 的有效性，我们将其应用于 DiT、PixArt-Sigma 进行图像生成任务，以及 OpenSora 进行视频生成任务。评估结果显示，对于图像生成，我们的方法减少了高分辨率生成中高达 88％的 FLOPs，实现了高达 1.6 倍的加速。

    Jun, 2024

  • 探索纯扩散变压器与三维形状生成

    提出一种用于三维形状生成的新型扩散 Transformer——DiT-3D，直接利用普通 Transformer 对点云数据进行去噪处理；相较于现有 U-Net 方法，该模型规模更具可扩展性且生成体现更高质量的形状。

    Jul, 2023

  • 高效的 FP4 混合量化扩散变换器（HQ-DiT）

    Diffusion Transformers (DiTs) are improved by Hybrid Floating-point Quantization (HQ-DiT), a post-training quantization method utilizing 4-bit floating-point precision on both weights and activations, resulting in low-precision quantization with minimal impact on performance.

    May, 2024

  • PixArt-Σ: 4K 文字到图像生成的强弱训练扩散变压器

    通过引入 PixArt-Sigma，一种 Diffusion Transformer 模型（DiT），本文能够直接生成 4K 分辨率的图像，相比于前作 PixArt-alpha，PixArt-Sigma 在图像质量方面有显著提高，与文本提示的对齐也更好，并且通过 “由弱到强” 的训练过程，PixArt-Sigma 实现了训练效率的提升。

    Mar, 2024

  • DiT: 高效的视觉变压器与动态令牌路由

    提出了一种数据相关的令牌路由策略用于图像令牌的动态视觉转换器 (DiT)，以适应对象尺度和视觉识别的变化，并通过选择多路径特征传播来精心调整图像表达的对象尺度和视觉识别的影响，从而实现更好的性能和良好的复杂度 / 准确度平衡。

    Aug, 2023