Nov, 2021

文本到图像的向量量化扩散模型

PDF
TL;DR本论文提出了基于矢量量化扩散模型的文本到图像生成方法，在扩散条件变量程序模型的潜在空间中建模基于矢量量化变分自编码器的方法，消除了现有方法中的单向偏​​差，并允许我们结合掩模和替换扩散策略以避免误差积累，其结果在生成复杂场景的图像方面得到了显着的改进。
text-to-image generationvector quantized diffusionlatent-space methoddenoising diffusion probabilistic modelimage quality
发现论文，激发创造
  • 改进的向量量化扩散模型

    本文提出两种技术，即分类器无指导采样和高质量推理策略，以进一步提高 VQ-Diffusion 样本质量，实验证明改进的 VQ-Diffusion 显著优于原始版本。

    May, 2022

  • 使用向量量化离散扩散模型进行特定作曲家风格的符号音乐生成

    通过将矢量量化变分自编码器（VQ-VAE）与离散扩散模型结合，我们提出了一种生成具有目标作曲家风格的符号音乐的方法，结果表明，我们的模型在满足给定条件的情况下以 72.36% 的高准确率生成符号音乐。

    Oct, 2023

  • DiVAE：具有去噪扩散解码器的真实感图像合成

    该研究提出了一种使用 VQ-VAE 和扩散解码器的 DiVAE 图像生成模型，相关实验结果表明该模型能够生成高度逼真的图像，特别适用于条件综合任务。

    Jun, 2022

  • DiffuseVAE: 从低维潜变量中高效、可控、高保真生成

    提出了一种新的生成框架 DiffuseVAE，它将 VAE 与扩散建模框架相结合，为扩散模型提供了低维的 VAE 学习到的潜在代码，从而能够用于控制合成等下游任务，并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好，同时表现出与最先进的模型可比的综合质量，还显示出天生的对不同类型的噪声具有泛化能力。

    Jan, 2022

  • Diffsound: 文本生成音效的离散扩散模型

    本研究提出了一种基于非自回归解码器、矢量量化变分自编码器、谱图及声码器的文本到声音生成框架，在声音生成效果和速度方面较传统的自回归解码器都有较大的提升。

    Jul, 2022

  • 为 StableDiffusion 设计更好的不对称 VQGAN

    StableDiffusion 是一种革命性的文本到图像生成器，它通过使用 VQGAN 学习潜在空间中的扩散模型，支持图像生成和真实图像的编辑，例如图像修复和局部编辑。作者提出了一种新的不对称 VQGAN 模型，它通过任务特定的先验信息和解码器的改进来提高修复和编辑性能。

    Jun, 2023

  • 文本到视频生成的网格扩散模型

    通过使用网格扩散模型生成视频，我们可以通过固定数量的 GPU 内存生成高质量的视频，减小视频维度从而可以应用各种基于图像的方法，如基于文本的视频操作。我们的方法在定量和定性评估中表现优于现有方法，证明了我们的模型在真实世界中进行视频生成的适用性。

    Mar, 2024

  • 无向量量化的自回归图像生成

    我们提出了使用扩散过程模型每个令牌的概率分布，从而可以将自回归模型应用于连续值空间的方法，并通过定义扩散损失函数来替代离散化的令牌化。通过消除向量量化，我们的图像生成器在享受序列建模的速度优势的同时取得了强大的结果，并希望该方法能促进在其他连续值领域和应用中使用自回归生成。

    Jun, 2024

  • CLIP-VQDiffusion: 基于 CLIP 和向量量化扩散模型的无语言训练文本生成图像

    本文提出了利用预训练的 CLIP 模型来实现多模态文本 - 图像表示和强大的图像生成能力的 CLIP-VQDiffusion 模型，在 FFHQ 数据集上，该模型的 Clipscore 得分超过了之前最先进的方法 4.4%，并且即使在分布内外的情况下，生成的图像也非常逼真。

    Mar, 2024

  • 去扩散使文本成为强大的跨模态接口

    我们展示了一种以文本作为强大的跨模态接口的方法，通过将图像表示为文本，利用自然语言的可解释性和灵活性，我们使用一个自动编码器，将输入图像转换为文本，并通过固定的文本到图像扩散解码器进行重构，该过程称为 De-Diffusion。实验证实了 De-Diffusion 文本表示图像的精确性和综合性，使其可以轻松地被一般的文本到图像工具和 LLMs 接收，并可用于多样化的多模态任务。

    Nov, 2023