HiPA: 通过高频率推广适应实现一步式文本到图像扩散模型

Nov, 2023

HiPA: 通过高频率推广适应实现一步式文本到图像扩散模型

HiPA: Enabling One-Step Text-to-Image Diffusion Models via High-Frequency-Promoting Adaptation

Yifan Zhang, Bryan Hooi

TL;DR高频率促进适应（HiPA）是一种参数高效的方法，通过训练一步、低秩适配器来增强先进扩散模型中高频率能力的不足，使其能够在单一步骤中生成高质量图像。与渐进蒸馏相比，HiPA 在一步文本到图像生成中具有更好的性能（FID-5k 在 MS-COCO 2017 上从 37.3 降至 23.8），并具有 28.6 倍的训练加速（108.8 到 3.8 A100 GPU 天），仅需要 0.04％的训练参数（77.4 亿降至 330 万）。

Abstract

diffusion models have revolutionized text-to-image generation, but their real-world applications are hampered by the extensive time needed for hundreds of diffusion steps. Although progressive distillation has be

diffusion models text-to-image generation one-step generation parameter-efficient approach hipa

发现论文，激发创造

扩散模型中与模型无关的人类偏好反转

提出一种新的采样设计方法，通过优化噪音分布以满足人类偏好，而不需要微调扩散模型，从而实现高质量的一步图像生成；实验证明，定制的噪音分布显著提高图像质量，并在计算成本仅略微增加的情况下取得了重要的突破，同时凸显了噪音优化的重要性，为高效和高质量的文本到图像合成铺平了道路。

Apr, 2024

InstaFlow: 高质量的扩散式文本到图像生成只需一步

透过使用 Rectified Flow 方法，本论文将 Stable Diffusion (SD) 转变为一步模型，创造了首个具有 SD 水平图像质量的逐步扩散型文本到图像生成器 InstaFlow，并大幅超越先前的最先进技术 progressive distillation。

Sep, 2023

HiFi Tuner：高保真主题驱动微调扩散模型

该论文研究了利用预训练的文本到图像扩散模型实现高保真个性化图像生成的进展。通过引入一种创新算法名为 HiFi Tuner 来增强在个性化图像生成过程中对对象外观保持的能力，提出了基于参数高效的微调框架，包括去噪过程和关键性倒转过程。此外，还提出了参考引导生成方法，利用参考图像的关键性倒转来减轻不想要的主题变化和伪影。实验结果表明，通过仅在文本嵌入上进行微调，CLIP-T 得分提高了 3.6 分，DINO 得分提高了 9.6 分，当对所有参数进行微调时，HiFi Tuner 在 CLIP-T 得分上提高了 1.2 分，在 DINO 得分上提高了 1.2 分，达到了新的技术水平。

Nov, 2023

即插即用扩散蒸馏

我们提出了一种新的蒸馏方法，可以减少迭代计算过程中无需分类器指导的扩散模型的推理计算时间，并且只需要基础模型的 1％的可训练参数，同时还能维持生成图像的视觉逼真度。

Jun, 2024

SnapFusion：移动设备上的文本到图像扩散模型，两秒钟内完成

该研究通过引入高效网络架构和步骤蒸馏等技术，提出了一种通用的方法，首次实现在移动设备上以不到 2 秒的速度运行文本到图像扩散模型。该模型可以使用户自己创作图像，而不需要高端 GPU 或云端推理，这将在内容创作方面具有重要作用。

Jun, 2023

Flash Diffusion: 加速任何有条件扩散模型的少步图像生成

本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

Jun, 2024

E$^{2}$GAN: 图像到图像翻译的高效 GAN 训练

通过利用大规模的文本到图像扩散模型进行数据提炼，我们提出了一种更高效的方法，通过精细调整通用化特征的基础生成对抗网络模型，而不是重新训练整个基础模型，并采用简单但有效的秩搜索过程来进行低秩适应，从而显著减少了培训成本和与每个概念相关的存储，使得移动设备能够高效地实现实时高质量的图像编辑。

Jan, 2024

一步图像翻译与文本到图像模型

通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

Mar, 2024

PEA-Diffusion: 非英文文本到图像生成中的参数高效适配器与知识蒸馏

基于知识蒸馏的轻量级参数效率适配器 (PEA) 的训练方法可用于实现非英语文本到图像的生成，并在跨语言文本到图像生成的下游任务中获得重要结果。

Nov, 2023

FreePIH：无需训练的画家风格图像和谐化与扩散模型

提供了高效的无需训练的画家式图像协调（PIH）方法，称为 FreePIH，仅利用预训练的扩散模型实现最先进的协调结果。通过将降噪过程作为插件模块应用于前景图像的风格转移，以直接基于降噪实现协调，结合多尺度特征来保证协调图像的忠实度，并提高生成质量。

Nov, 2023