Dec, 2023

扩散模型中通过重用注意力图实现快速推理

PDF
TL;DR通过结构化地重用注意力映射，我们的训练无关方法在保持样本质量的同时，显著降低了文本到图像扩散模型的迭代过程中的延迟。
text-to-image diffusion modelsiterative processlatency reductionattention mapsreuse policies
发现论文，激发创造
  • KOALA：自注意力在潜在扩散模型知识蒸馏中的重要性 —— 用于高效内存和快速图像合成

    通过蒸馏 SDXL 模型的知识，我们提出了一种高效的文本到图像综合的潜在扩散模型，其核心是通过设计有效的 U-Net 和自注意力的知识蒸馏策略，使 KOALA 模型在减小模型尺寸的同时，仍保持良好的生成质量，相较于 SDXL 模型有两倍以上的速度，可以在资源有限的环境中成为一种具有成本效益的替代选择。

    Dec, 2023

  • 基于关注重心的文本到图像的合成

    本研究提出了两个新的损失函数，用于在采样过程中根据给定的布局重新聚焦注意力图，以解决在多个对象、属性和空间组合都涉及到的情况下现有文本到图像综合方法无法精确遵循文本提示的问题，并通过 Large Language Models 合成的布局在 DrawBench 和 HRS 基准测试中进行了全面实验，证明了我们提出的方法可以轻松有效地集成到现有的文本到图像方法中，并始终提高其生成图像与文本提示之间的对齐度。

    Jun, 2023

  • AutoDiffusion：无需训练的自动扩散模型加速的时间步长和架构优化

    我们提出了一种统一的框架来在扩散模型中实现有效的图像生成，其中搜索最佳时间步骤序列和压缩模型架构，无需进一步的训练。通过引入两阶段进化算法和使用生成和真实样本之间的 FID 评分来加速搜索过程，该方法在仅使用几个时间步骤时实现了出色的性能。

    Sep, 2023

  • 待机蒸馏：训练一次即可加速抽样

    为了解决 Diffusion Probability Models 生成样本所需的采样步骤大量增加的问题，文章提出了一种基于 Catch-Up Distillation (CUD) 的算法，通过多步对齐蒙古采样输出来实现精确 ODE 估计，成功地在 CIFAR-10，MNIST 和 ImageNet-64 数据集上取得了比较优异的效果。

    May, 2023

  • 提升文本到图像合成中的语义保真度：扩散模型中的注意力调节

    我们提出了一种注意力调节方法，通过实时优化来对齐注意力图与输入文本提示，从而解决扩散模型中对某些令牌过分关注而导致语义逼真度下降的问题。在各种数据集、评估指标和扩散模型上进行了实验比较，结果表明我们的方法在减少计算开销的同时，始终优于其他基准方法，生成的图像更加忠实地反映了所需的概念。

    Mar, 2024

  • 扩散模型是固有的一步生成器

    扩散模型的实例教学方法和分布教学方法在图像生成模型方面取得了显著的研究成果，提出的分布教学方法在减少训练图像数量的同时取得了最先进的结果，提高了对高效图像生成模型的理解并为各种应用提供了可扩展的框架。

    May, 2024

  • 高效生成高分辨率图像的 Token 下采样策略

    提出了一种密集注意力的训练无关方法以加速稳定扩散推理的进行，通过关键和值令牌的降采样，在常见尺寸和高分辨率下可以将推理速度提高 2 倍或更多，证明了该方法在平衡高效吞吐量和保真度方面优于之前的方法。

    Feb, 2024

  • 利用扩散模型的时空关注力实现高保真度文本到图像合成

    本文提出了一种新的文本到图像算法，通过在扩散模型中加入显式的空间 - 时间交叉注意力控制，利用布局预测器和空间注意力控制相结合，实现优化组合权重的方式，从而生成与文本更高保真的图像。

    Apr, 2023

  • 在文本图像生成模型中定位和编辑知识

    文本到图像扩散模型研究了知识表示和视觉特征，采用因果中介分析方法来理解大规模文本到图像扩散模型中不同视觉属性相关的知识是如何存储的，并发现在条件 UNet 的一组组件中分布着不同属性的知识。同时，发现在公共文本到图像模型中，只存在一个因果状态，这在其他语言模型中是不同的。基于这种观察，引入了一种快速、无需数据的模型编辑方法 Diff-QuickFix，可以在短时间内编辑（删除）模型中的概念，提供了 1000 倍的加速和与现有微调方法相当的编辑性能。

    Oct, 2023

  • ScaleCrafter：使用扩散模型进行零调节高分辨率视觉生成

    通过重新扩张限制性卷积感知域以及引入分散卷积和抑噪无监督引导的方法，无需任何训练或优化，实现了超高分辨率图像生成，并解决了物体重复和不合理结构的问题，表现出卓越的性能。此外，该方法还提示了低分辨率训练模型可以直接用于高分辨率图像生成的可能性，为未来的超高分辨率图像合成研究提供了新的思路。

    Oct, 2023