May, 2024

U-DiTs：在 U 形扩散变压器中降采样 Token

PDF
TL;DR将变换器架构引入扩散任务，对潜在空间图像生成进行了研究，发现 U-Net 架构只在 U-Net 归纳偏差中略有优势，提出了 U 型扩散变换器（U-DiT）模型，通过降低计算量并在自注意力中进行令牌下采样，在性能上超过了 DiT-XL/2。
diffusion transformerstransformer architectureu-netisotropic architecturelatent-space image generation
发现论文，激发创造
  • 可扩展的 Transformer 扩散模型

    本文提出了基于 Transformer 的扩散模型。将常用的 U-Net 骨干网络替换为在潜在块上操作的 Transformer，通过 Gflops 度量前向传递复杂度分析 DiT 的可伸缩性，并证明了高 Gflops DiT-XL/2 模型在 ImageNet 512x512 和 256x256 基准测试中均优于以前的扩散模型，后者在 256x256 基准测试上实现了先进的 FID (2.27)。

    Dec, 2022

  • 探索纯扩散变压器与三维形状生成

    提出一种用于三维形状生成的新型扩散 Transformer——DiT-3D，直接利用普通 Transformer 对点云数据进行去噪处理；相较于现有 U-Net 方法，该模型规模更具可扩展性且生成体现更高质量的形状。

    Jul, 2023

  • DiffiT：用于图像生成的扩散视觉 Transformer

    本文研究了视觉 transformer 在基于扩散的生成学习中的有效性，并提出了一种新的模型 Diffusion Vision Transformers（DiffiT），该模型在多个条件和无条件综合任务中取得了最新的基准成绩，生成了高保真度图片。

    Dec, 2023

  • TerDiT: 基于 Transformer 的三元扩散模型

    我们提出了 TerDiT，一种针对具有 transformer 的三态扩散模型的量化感知训练（QAT）和有效部署方案，致力于探索大规模 DiT 模型的高效部署策略，展示了从头开始训练极低比特扩散变压器模型的可行性，同时保持与全精度模型相比有竞争力的图像生成能力。

    May, 2024

  • Q-DiT：扩散变压器的准确后训练量化

    Q-DiT 是一种结合了精细化量化、自动搜索策略和动态激活量化的方法，用于处理 Diffusion Transformer（DiT）模型中的权重和激活的巨大变化，以实现高效、高质量的量化和图像生成。

    Jun, 2024

  • $Δ$-DiT：一种为扩散变换器量身定制的无需训练的加速方法

    通过调查 DiT 块与图像生成之间的相关性，发现 DiT 的前述块与生成图像的轮廓有关，而后述块与细节有关。基于此，我们提出了一个全面的无需训练的推断加速框架 Delta-DiT，采用设计的缓存机制来加速早期采样阶段的后述 DiT 块和后期阶段的前述 DiT 块。在 PIXART-alpha 和 DiT-XL 上的大量实验证明，Delta-DiT 在 20 步生成时可以实现 1.6 倍加速，并在大多数情况下性能提高。在 4 步一致模型生成和更具挑战性的 1.12 倍加速的情况下，我们的方法显著优于现有方法。我们的代码将公开提供。

    Jun, 2024

  • 关于潜在扩散变压器 (DiTs) 的统计速率和可证明高效准则

    我们研究了在低维线性潜空间假设下， extbf {DiT} 的统计和计算极限。根据渐进的潜空间维度，我们推导了 extbf {DiT} 潜空间网络的逼近误差界，并给出了相应的样本复杂度界限。同时，我们表明从估计的得分函数生成的数据分布收敛于原始数据分布的某个临近区域。我们还对潜空间 extbf {DiT} 的前向推断和反向计算进行了研究，证明了在强指数时间假设下，前向推断可以在接近线性时间内实现效率提升，而通过利用 extbf {DiT} 训练中的梯度计算中的低秩结构，反向计算可以实现几乎线性时间的训练加速。在低维空间假设下，我们发现收敛速度和计算效率都受到子空间维度的支配，表明潜空间 extbf {DiT} 有潜力克服初始数据的高维挑战。

    Jul, 2024

  • Inf-DiT: 用内存高效的扩散变换方法上采样任意分辨率图像

    通过引入单向注意力机制和 DiT 结构，我们提出了一种自适应调整推理过程中的内存负荷和处理全局依赖性的无限超分模型，实验结果表明，在生成超高分辨率图像方面，我们的模型在机器和人类评估方面都达到了最先进的性能。与常用的 UNet 结构相比，在生成 4096*4096 图像时，我们的模型可以节省超过 5 倍的内存。

    May, 2024

  • SD-DiT：释放扩散变换器中自监督辨别的力量

    通过引入自监督区分知识来增强扩散变压器 (Diffusion Transformer, DiT) 的训练效果，并在 ImageNet 数据集上进行了广泛实验，实现了训练成本和生成能力之间的竞争平衡。

    Mar, 2024

  • 所有都值得一提：一种适用于扩散模型的 ViT 主干网络

    本篇研究提出了一种基于 Vision Transformers 构建的简单通用的 U-ViT 架构，通过对时间、条件和噪声图像块等所有输入采用标记方法，并在浅层和深层之间采用长跳过连接，实现与同等大小 CNN-based 的 U-Net 相似的无条件和类条件图像生成，以及文本到图像生成任务的优化，具有不错的 FID 得分。该研究结果表明，对于基于扩散的图像建模，长跳过连接至关重要，而 CNN-based U-Net 中的下采样和上采样算子并非总是必要的。

    Sep, 2022