Jan, 2024

PIXART-δ: 快速且可控的图像生成与潜在一致性模型

PDF
TL;DR通过将 Latent Consistency Model（LCM）和 ControlNet 集成到先进的 PIXART-α 模型中，本技术报告介绍了 PIXART-δ，一个文本到图像综合框架。PIXART-δ 结合了 LCM，显著提高了推断速度，在仅 2-4 步就可以生成高质量图像。此外，PIXART-δ 还通过引入类似 ControlNet 的模块，实现了对文本到图像扩散模型的细粒度控制。作为一种先进、开源的图像生成模型，PIXART-δ 对于文本到图像综合提供了一个有前途的选择，显著提升了其可用性和易用性。
pixart-δtext-to-image synthesislatent consistency modelcontrolnethigh-quality images
发现论文，激发创造
  • PixArt-$α$: 快速训练扩散变换器实现逼真的文本到图像合成

    PIXART-$\alpha$, a Transformer-based T2I diffusion model, achieves high-quality image synthesis at low training cost, surpassing existing models in training speed and reducing CO2 emissions.

    Sep, 2023

  • 一致性的平方：基于潜在一致性模型的一致且快速的三维绘画

    基于 Objaverse 数据集样本研究，我们的 3D 绘画方法在所有评估中均获得强烈的偏好。

    Jun, 2024

  • PixArt-Σ: 4K 文字到图像生成的强弱训练扩散变压器

    通过引入 PixArt-Sigma，一种 Diffusion Transformer 模型（DiT），本文能够直接生成 4K 分辨率的图像，相比于前作 PixArt-alpha，PixArt-Sigma 在图像质量方面有显著提高，与文本提示的对齐也更好，并且通过 “由弱到强” 的训练过程，PixArt-Sigma 实现了训练效率的提升。

    Mar, 2024

  • 潜在一致性模型：用少量推理步骤合成高分辨率图像

    利用潜在一致性模型（LCMs）解决迭代抽样过程在高分辨率图像合成中的计算负担和生成速度慢的问题，LCMs 通过直接预测导引反向扩散过程的 ODE 解决方案在潜空间中，实现了快速、高保真度的采样。

    Oct, 2023

  • ControlNet++：通过高效一致性反馈改进条件控制

    通过像素级别的循环一致性优化生成的图像与条件控制之间的一致性来提高图像的可控性。

    Apr, 2024

  • MotionLCM：基于潜变一致性模型的实时可控动作生成

    基于 MotionLCM 模型，作者提出了一种能够实时生成可控运动的方法，通过引入运动潜在一致性模型（MotionLCM）和使用运动控制网络，实现了对文本和控制信号的实时生成和控制，在保持运行效率的同时展现出了出色的生成和控制能力。

    Apr, 2024

  • ControlNet-XS：为控制文本到图像扩散模型设计高效和有效的架构

    图像合成领域取得了巨大的进展，在本文中，我们提出了一种新的控制架构 ControlNet-XS，它不受信息流动延迟的问题困扰，因此可以专注于学习控制任务。与现有的控制网络相比，我们的模型参数量少，推理和训练时间大约快两倍，生成的图像质量更高，控制精度更高。

    Dec, 2023

  • EdgeFusion：设备端文本到图像生成

    通过对稳定扩散（SD）的高效计算负担进行改进，我们提出了两种策略，即利用先进的生成模型和为 LCM 定制的先进蒸馏流程，通过量化、剖析和资源有限的边缘设备上的部署，实现了在仅两步、低于一秒的延迟下，生成具有照片写实风格、与文本对齐的图像。

    Apr, 2024

  • Kandinsky：带有图像先验和潜在扩散的改进文本到图像合成

    Kandinsky1 是一种使用潜在扩散架构的文本到图像生成模型，与图像先验模型的原则结合，并通过修改的 MoVQ 实现作为图像自编码器组件，支持多样化的生成模式，有 8.03 的 FID 得分和可测量的图像生成质量。

    Oct, 2023

  • 潜在扩散模型下的创意绘画

    本研究采用基于自编码器的后向扩散模型和交叉注意力增强的 U-Net 来实现压缩潜在空间的图像生成，扩展了 LDMs 的创意绘画能力，包括文本条件扩展和模型重新训练，该方法使用 Wikiart 数据集进行新颖的绘画生成​​，并通过与原模型的直接比较表明创造力和艺术性得到了丰富的提高。

    Sep, 2022