CVPRMay, 2024

基于注意力机制的训练无关扩散模型效率增强

PDF
TL;DRAttention-driven Training-free Efficient Diffusion Model (AT-EDM) framework leverages attention maps for runtime pruning of redundant tokens in Diffusion Models, introducing a novel ranking algorithm (Generalized Weighted Page Rank) and a Denoising-Steps-Aware Pruning approach to enhance efficiency while maintaining similar performance.
diffusion modelsattention-driven training-free efficient diffusion modelgeneralized weighted page rankdenoising-steps-aware pruningefficiency
发现论文，激发创造
  • EfficientDM: 高效的低位扩散模型量化感知微调

    提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

    Oct, 2023

  • 无注意力的扩散模型

    高分辨率图像生成中的噪声扩散概率模型（DDPM）是研究的关键，通过引入扩散状态空间模型（DiffuSSM）架构来处理高分辨率图像的生成和表示，从而显著降低计算复杂度，并展示了与使用注意力模块的扩散模型相媲美甚至优于的生成图像质量和计算效率。

    Nov, 2023

  • 基于注意力引导的特征蒸馏用于语义分割

    提出的注意力引导特征蒸馏（AttnFD）方法利用精细特征图来传递关注力，证明了其在语义分割中提取丰富信息的有效性，通过只使用教师和学生的精炼特征图之间的均方误差（MSE）损失函数，在 PascalVoc 2012 和 Cityscapes 数据集上实现了语义分割的最佳性能（mean Intersection over Union，mIoU 达到了最新水平）。

    Mar, 2024

  • 增强的分布对齐用于后训练量化扩散模型

    优化的分布对齐方法可用于增强扩散模型的后训练量化，从而解决现有方法中存在的分布不匹配问题，提高在噪声估计任务中的性能，并在低位精度情况下超过完整精度模型的性能。

    Jan, 2024

  • 去噪扩散自适应模型

    该论文介绍了一种名为 Denoising Diffusion Step-aware Models (DDSM) 的新型框架，通过使用一系列根据每个生成步骤重要性进行自适应调整的神经网络，以进化搜索的方式解决了生成过程中存在的整体网络计算的瓶颈问题，有效地提高了扩散模型的效率，并且可以与其他以效率为目标的扩散模型进行无缝集成，从而扩大了计算节约的范围，同时不影响生成质量。

    Oct, 2023

  • 通过可微分掩码和共同注意力蒸馏学习图像翻译的高效 GAN

    本研究提出了一种新颖的 GAN 压缩方法 DMAD，通过使用可微分的掩模和协同注意力熔炼来搜索轻量级发生器体系结构，同时从预训练模型的生成器和判别器中提取有用的注意力图，成功稳定轻量级模型的对抗训练，而在保持可比余白性能的前提下，DMAD 能够将 CycleGAN 的 MACs 降低 13 倍，Pix2Pix 的 MACs 降低 4 倍。

    Nov, 2020

  • 高效生成高分辨率图像的 Token 下采样策略

    提出了一种密集注意力的训练无关方法以加速稳定扩散推理的进行，通过关键和值令牌的降采样，在常见尺寸和高分辨率下可以将推理速度提高 2 倍或更多，证明了该方法在平衡高效吞吐量和保真度方面优于之前的方法。

    Feb, 2024

  • 看 ATME：判别器平均熵需要关注

    本文通过将难以训练但生成高质量图像的概率扩散模型（DMs）的去噪机制引入到生成对抗网络（GANs）中，提出了一种简单方法（ATME）实现 GANs 的稳定收敛，打破了 GANs 的信息不对称问题，并演示了该方法在多种图像转换任务上优于现有方法。

    Apr, 2023

  • 对抗净化的鲁棒扩散模型

    我们提出了一种具有逆向过程的鲁棒性指导方法，该方法独立于预训练的扩散模型，在不重新训练或微调扩散模型的情况下实现了对抗训练策略，保留了更多的语义内容，并减轻了扩散模型的准确性和鲁棒性之间的权衡，从而为基于扩散模型的对抗净化方法提供了对新攻击的高效适应能力。通过大量实验证实，我们的方法达到了最先进的结果，并展现了对不同攻击的泛化能力。

    Mar, 2024

  • 使用自注意力引导改善扩散模型的样本质量

    本文提出了两种新的无需条件策略：模糊引导和高级自注意引导来增强生成图像的质量，这些方法不仅简单有效，还提高了各种扩散模型的性能。

    Oct, 2022