Jul, 2024

关于潜在扩散变压器 (DiTs) 的统计速率和可证明高效准则

PDF
TL;DR我们研究了在低维线性潜空间假设下， extbf {DiT} 的统计和计算极限。根据渐进的潜空间维度，我们推导了 extbf {DiT} 潜空间网络的逼近误差界，并给出了相应的样本复杂度界限。同时，我们表明从估计的得分函数生成的数据分布收敛于原始数据分布的某个临近区域。我们还对潜空间 extbf {DiT} 的前向推断和反向计算进行了研究，证明了在强指数时间假设下，前向推断可以在接近线性时间内实现效率提升，而通过利用 extbf {DiT} 训练中的梯度计算中的低秩结构，反向计算可以实现几乎线性时间的训练加速。在低维空间假设下，我们发现收敛速度和计算效率都受到子空间维度的支配，表明潜空间 extbf {DiT} 有潜力克服初始数据的高维挑战。
发现论文，激发创造
  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • U-DiTs：在 U 形扩散变压器中降采样 Token

    将变换器架构引入扩散任务，对潜在空间图像生成进行了研究，发现 U-Net 架构只在 U-Net 归纳偏差中略有优势，提出了 U 型扩散变换器（U-DiT）模型，通过降低计算量并在自注意力中进行令牌下采样，在性能上超过了 DiT-XL/2。

    May, 2024

  • TerDiT: 基于 Transformer 的三元扩散模型

    我们提出了 TerDiT，一种针对具有 transformer 的三态扩散模型的量化感知训练（QAT）和有效部署方案，致力于探索大规模 DiT 模型的高效部署策略，展示了从头开始训练极低比特扩散变压器模型的可行性，同时保持与全精度模型相比有竞争力的图像生成能力。

    May, 2024

  • $Δ$-DiT：一种为扩散变换器量身定制的无需训练的加速方法

    通过调查 DiT 块与图像生成之间的相关性，发现 DiT 的前述块与生成图像的轮廓有关，而后述块与细节有关。基于此，我们提出了一个全面的无需训练的推断加速框架 Delta-DiT，采用设计的缓存机制来加速早期采样阶段的后述 DiT 块和后期阶段的前述 DiT 块。在 PIXART-alpha 和 DiT-XL 上的大量实验证明，Delta-DiT 在 20 步生成时可以实现 1.6 倍加速，并在大多数情况下性能提高。在 4 步一致模型生成和更具挑战性的 1.12 倍加速的情况下，我们的方法显著优于现有方法。我们的代码将公开提供。

    Jun, 2024

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • 高效的 FP4 混合量化扩散变换器（HQ-DiT）

    Diffusion Transformers (DiTs) are improved by Hybrid Floating-point Quantization (HQ-DiT), a post-training quantization method utilizing 4-bit floating-point precision on both weights and activations, resulting in low-precision quantization with minimal impact on performance.

    May, 2024

  • PTQ4DiT：扩散变压器的后训练量化

    为了解决 Diffusion Transformers（DiTs）中特定的量化挑战，本文提出了一种特定的 Post-training Quantization（PTQ）方法，称为 PTQ4DiT。通过 Channel-wise Salience Balancing（CSB）和 Spearmen's ρ-guided Salience Calibration（SSC）来解决 DiTs 中存在的通道不平衡和时间变化的挑战，并通过离线重新参数化策略降低了计算成本，实现了对 DiTs 的有效量化到 8 位精度（W8A8），并首次实现了对 4 位权重精度（W4A8）的有效量化。

    May, 2024

  • SiT: 基于可扩展插值变换器的流与扩散生成模型探索

    SiT 是一种建立在 DiT 基础之上的生成模型，通过插值框架实现了对各种设计选择的模块化研究，从离散和连续时间学习到模型学习的目标选择，插值连接分布以及确定性或随机采样器等。在相同的基础、参数数量和 GFLOPs 下，通过精心引入上述因素，SiT 在条件 ImageNet 256x256 基准测试中表现出色，并通过探索各种可以单独调整的扩散系数，达到了 2.06 的 FID-50K 分数。

    Jan, 2024