ICMLJul, 2023

移动设备上大规模扩散模型的压缩

PDF
TL;DR本文介绍了基于 TensorFlow Lite 部署 Diffusion 模型的挑战和解决方案，并展示了使用 Mobile Stable Diffusion 在 Android 设备上生成 512x512 图像所需的推理延迟小于 7 秒。
diffusion modelsimage synthesison-device deploymenttensorflow lite frameworkmobile stable diffusion
发现论文，激发创造
  • 速度即一切：通过 GPU 感知优化在设备上加速大型扩散模型

    本文介绍了一种优化了的基础模型，通过在移动设备上实施优化，使大规模扩散模型的推理延迟得到了显著缩短，从而提高了生成性 AI 的适用性并改善了用户体验。

    Apr, 2023

  • MobileDiffusion：移动设备上的次秒级文本到图像生成

    通过在架构和采样技术上进行广泛优化，我们提出了一种高效的 MobileDiffusion 文本到图像扩散模型，它在移动设备上实现了显著的亚秒级图像生成推断速度，创立了新的技术水平。

    Nov, 2023

  • SnapFusion：移动设备上的文本到图像扩散模型，两秒钟内完成

    该研究通过引入高效网络架构和步骤蒸馏等技术，提出了一种通用的方法，首次实现在移动设备上以不到 2 秒的速度运行文本到图像扩散模型。该模型可以使用户自己创作图像，而不需要高端 GPU 或云端推理，这将在内容创作方面具有重要作用。

    Jun, 2023

  • COCO 和 Weed 数据集的稳定扩散

    通过稳定扩散模型生成高分辨率图像，并利用这些图像提高检测模型的性能，这项研究有助于将稳定扩散模型应用于不同领域的分类和检测任务。

    Dec, 2023

  • SparseDM：面向稀疏高效扩散模型

    我们提出了一种基于改进的直通估计器的方法来提高扩散模型的部署效率，通过在预训练的扩散模型中添加稀疏掩码，使用渐进稀疏设计进行模型训练，在微调阶段开关推断掩码，以便根据 FID 和 MACs 的要求在推断期间灵活选择稀疏度。基于一种最先进的基于 Transformer 的扩散模型，在四个数据集上的实验证明我们的方法将 MACs 减少了 50％，而 FID 仅增加了 1.5，与其他方法相比，在其他 MACs 条件下，FID 也低于 1 到 137。

    Apr, 2024

  • 在 CPU 上的扩散模型的有效量化

    通过结合量化感知训练和蒸馏方法，我们提出了一种新的扩散模型量化方法，可以在维持高图像质量的同时，在 CPU 上展示出高效推断能力。

    Nov, 2023

  • 基于扩散的图像生成模型调查：问题及其解决方案

    这项调查旨在研究与图像生成模型相关的现有问题和当前解决方案。

    Aug, 2023

  • 使用量化扩散模型进行内存高效个性化

    本文针对大规模的十亿参数扩散模型，探索了细调量化扩散模型的领域，并提出了两种策略以增强个性化、保持提示保真度和图像质量，显著超越基线模型的质量和数量性能。

    Jan, 2024

  • 大数据训练的扩散模型具有可迁移的视觉模型

    通过使用预训练的 UNet（或 transformer）扩散模型仅需适量的目标数据（甚至只有合成数据），在基础视觉感知任务中能够实现出色的可传递性表现，包括单眼深度、表面法线、图像分割、抠图、人体姿势估计等。

    Mar, 2024

  • 扩散模型的时态动态量化

    介绍了一种新的量化方法用于扩散模型，通过动态调整量化间隔来改善输出质量，并提出该方法在推理时没有计算开销和两种量化方法兼容，通过多种数据集的广泛实验证明了量化扩散模型在输出质量方面的显着改进。

    Jun, 2023