Jun, 2023

SnapFusion：移动设备上的文本到图像扩散模型，两秒钟内完成

PDF
TL;DR该研究通过引入高效网络架构和步骤蒸馏等技术，提出了一种通用的方法，首次实现在移动设备上以不到 2 秒的速度运行文本到图像扩散模型。该模型可以使用户自己创作图像，而不需要高端 GPU 或云端推理，这将在内容创作方面具有重要作用。
text-to-image diffusion modelsmobile devicesunetstep distillationcontent creation
发现论文，激发创造
  • MobileDiffusion：移动设备上的次秒级文本到图像生成

    通过在架构和采样技术上进行广泛优化，我们提出了一种高效的 MobileDiffusion 文本到图像扩散模型，它在移动设备上实现了显著的亚秒级图像生成推断速度，创立了新的技术水平。

    Nov, 2023

  • InstaFlow: 高质量的扩散式文本到图像生成只需一步

    透过使用 Rectified Flow 方法，本论文将 Stable Diffusion (SD) 转变为一步模型，创造了首个具有 SD 水平图像质量的逐步扩散型文本到图像生成器 InstaFlow，并大幅超越先前的最先进技术 progressive distillation。

    Sep, 2023

  • Flash Diffusion: 加速任何有条件扩散模型的少步图像生成

    本论文提出了一种高效、快速和多功能的蒸馏方法，Flash Diffusion，用于加速预训练扩散模型的生成，在 COCO2014 和 COCO2017 数据集上，在少量步骤的图像生成方面表现出最先进的 FID 和 CLIP-Score 性能，只需几个 GPU 小时的训练和比现有方法少得多的可训练参数。

    Jun, 2024

  • 时钟扩散：基于模型步骤提炼的高效生成

    该研究旨在提高文本到图像扩散模型的效率，通过周期性地重复利用计算以近似低分辨率特征图，在保持感知分数可比拟或改善的同时，大大减少了计算复杂度。

    Dec, 2023

  • SwiftBrush: 一步文本到图像扩散模型与变分得分蒸馏

    利用无图像数据的方法，采用新型熟练的学生网络模型 SwiftBrush 进行模型蒸馏，实现可生成高保真图像的一步式文本到图像生成，并且在 COCO-30K 基准测试上取得了竞争性结果或显著超越现有最先进的蒸馏技术。

    Dec, 2023

  • 速度即一切：通过 GPU 感知优化在设备上加速大型扩散模型

    本文介绍了一种优化了的基础模型，通过在移动设备上实施优化，使大规模扩散模型的推理延迟得到了显著缩短，从而提高了生成性 AI 的适用性并改善了用户体验。

    Apr, 2023

  • 一步图像翻译与文本到图像模型

    通过对抗学习目标，将单步扩散模型通过整合各种模块成为单一的端到端生成网络，以提高其保留输入图像结构并减少过拟合的能力，我们的模型在非配对设置下优于现有的基于 GAN 和扩散的方法，实现了各种场景转换任务，如昼夜转换和添加 / 删除雾、雪和雨等天气效果；在配对设置中，我们的模型与现有的作品如 Sketch2Photo 和 Edge2Image 的 Control-Net 不相上下，但具有单步推理。

    Mar, 2024

  • EdgeFusion：设备端文本到图像生成

    通过对稳定扩散（SD）的高效计算负担进行改进，我们提出了两种策略，即利用先进的生成模型和为 LCM 定制的先进蒸馏流程，通过量化、剖析和资源有限的边缘设备上的部署，实现了在仅两步、低于一秒的延迟下，生成具有照片写实风格、与文本对齐的图像。

    Apr, 2024

  • 移动设备上大规模扩散模型的压缩

    本文介绍了基于 TensorFlow Lite 部署 Diffusion 模型的挑战和解决方案，并展示了使用 Mobile Stable Diffusion 在 Android 设备上生成 512x512 图像所需的推理延迟小于 7 秒。

    Jul, 2023

  • 基于无条件扩散模型的实时文本驱动图像操作

    该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

    Apr, 2023