Jan, 2022

DiffuseVAE: 从低维潜变量中高效、可控、高保真生成

PDF
TL;DR提出了一种新的生成框架 DiffuseVAE，它将 VAE 与扩散建模框架相结合，为扩散模型提供了低维的 VAE 学习到的潜在代码，从而能够用于控制合成等下游任务，并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好，同时表现出与最先进的模型可比的综合质量，还显示出天生的对不同类型的噪声具有泛化能力。
发现论文，激发创造
  • 变分扩散自编码器：具有无条件扩散先验的深层潜变量模型

    采用扩散模型集成编码器和无条件扩散模型的得分函数，消除了 VAE 图像模糊的问题，并显著提高了性能。

    Apr, 2023

  • DiVAE：具有去噪扩散解码器的真实感图像合成

    该研究提出了一种使用 VQ-VAE 和扩散解码器的 DiVAE 图像生成模型，相关实验结果表明该模型能够生成高度逼真的图像，特别适用于条件综合任务。

    Jun, 2022

  • LiteVAE：轻量高效的变分自编码器用于潜在扩散模型

    通过引入 LiteVAE，一种基于 2D 离散小波变换的自编码器家族，我们在维持输出质量的同时提高了可扩展性和计算效率，基本 LiteVAE 模型在高分辨率图像生成方面与现有的 VAEs 相当，但编码器参数减少了六倍，导致更快的训练速度和更低的 GPU 内存需求，而我们的较大模型在所有评估指标（rFID、LPIPS、PSNR 和 SSIM）上均优于复杂度相当的 VAEs。

    May, 2024

  • DiffuseGAE：通过解耦表示的可控高保真图像操作

    本篇研究介绍 Diff-AE 与 GAE 两种基于 Diffusion probabilistic models 的编码器模型，实现由多个属性进行图像编辑和生成，大大降低了计算需求，并达到了相当不错的效果，对潜在特征得到了更好的分离。

    Jul, 2023

  • 扩散变分推断：扩散模型作为表达丰富的变分先验

    我们提出了去噪扩散变分推断（DDVI）算法，它是一种基于扩散模型作为表达性变分后验的潜变量模型的近似推断算法。我们的方法通过辅助潜变量来增强变分后验，从而得到一类表达性模型，通过反转用户指定的噪声过程在潜变量空间中进行扩散。通过优化受 wake-sleep 算法启发的边缘似然的一种新的下界，我们拟合这些模型。我们的方法易于实现（它适用于正则化的 ELBO 进一步扩展），与黑盒变分推断兼容，并且优于基于归一化流或对抗网络的替代近似后验类别。当应用于深层潜变量模型时，我们的方法得到了去噪扩散 VAE（DD-VAE）算法。我们将该算法应用于生物学中的一个激励任务 -- 从人类基因组推断潜在祖先 -- 在 Thousand Genomes 数据集上优于强基线模型。

    Jan, 2024

  • 文本到图像的向量量化扩散模型

    本论文提出了基于矢量量化扩散模型的文本到图像生成方法，在扩散条件变量程序模型的潜在空间中建模基于矢量量化变分自编码器的方法，消除了现有方法中的单向偏​​差，并允许我们结合掩模和替换扩散策略以避免误差积累，其结果在生成复杂场景的图像方面得到了显着的改进。

    Nov, 2021

  • DiffEnc：学得的编码器的变分扩散

    用两种改进的扩散模型，DiffEnc 和具有权重参数的扩散损失方法，实现了最先进的 CIFAR-10 评估结果，同时探索了有限深度层次结构和无限深度层次结构中扩散模型的性质。

    Oct, 2023

  • 因果扩散自编码器：通过扩散概率模型实现反事实生成

    提出了 CausalDiffAE，一种基于扩散的因果表示学习框架，能够根据指定的因果模型实现反事实生成，并通过编码器从高维数据中提取语义上有意义的因果变量，以及使用神经网络参数化潜在因果变量之间的因果机制。

    Apr, 2024

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 基于潜在特征引导和扩散先验的极端图像压缩研究

    提出了一种新颖的极端图像压缩框架，该框架将压缩 VAEs 和预训练的文本到图像扩散模型结合在一起，通过潜在特征引导压缩模块进行图像压缩并解码为内容变量，然后利用预训练的扩散模型进一步解码这些内容变量，实验结果表明在极低比特率下，该方法在视觉表现和图像保真度方面优于现有方法。

    Apr, 2024