Jul, 2023

DiffuseGAE：通过解耦表示的可控高保真图像操作

PDF
TL;DR本篇研究介绍 Diff-AE 与 GAE 两种基于 Diffusion probabilistic models 的编码器模型，实现由多个属性进行图像编辑和生成，大大降低了计算需求，并达到了相当不错的效果，对潜在特征得到了更好的分离。
diffusion probabilistic modelsdiffusion autoencodersgroup-supervised autoencoderimage manipulationlatent code
发现论文，激发创造
  • 因果扩散自编码器：通过扩散概率模型实现反事实生成

    提出了 CausalDiffAE，一种基于扩散的因果表示学习框架，能够根据指定的因果模型实现反事实生成，并通过编码器从高维数据中提取语义上有意义的因果变量，以及使用神经网络参数化潜在因果变量之间的因果机制。

    Apr, 2024

  • 预训练扩散概率模型中的无监督表征学习

    本文提出了一种基于现有预训练 DPM 模型的图像重建通用方法 PDAE，实现了比 Diff-AE 更好的训练效率和性能，并通过对分类器引导采样的机制填补信息缺失的空隙，使编码器对图像进行更好的重建，表现出了较高的有效性、效率和灵活性。

    Dec, 2022

  • 扩散自编码器：走向有意义和可解码的表征

    本研究探索使用可扩散概率模型作为自编码器的解码器，让输入图像生成一个可以被意义化和解码的编码向量，该编码向量分为两部分：第一部分是含有语义的线性编码，而第二部分是建模随机变量的编码，提升了图像生成的质量并且在其他应用中可以用来做属性调整和去噪等任务。

    Nov, 2021

  • DiffusionAct：可控的一次性人脸仿真的扩散自编码器

    DiffusionAct 是一种利用扩散模型的照片级真实图像生成来进行神经脸部再现的新方法，能够编辑输入图像的脸部姿势，实现一次性、自我和跨主体再现，并展示了优于甚至与 GAN、StyleGAN2 和扩散方法相媲美的再现性能。

    Mar, 2024

  • 分层扩散自编码器与分离图像操作

    本论文提出了一种通过使用分层扩散自动编码器 (HDAE) 以及基于截断特征的方法对扩散模型潜空间进行描述，从而实现对图像的多种操作和语义合成。

    Apr, 2023

  • DiffuseVAE: 从低维潜变量中高效、可控、高保真生成

    提出了一种新的生成框架 DiffuseVAE，它将 VAE 与扩散建模框架相结合，为扩散模型提供了低维的 VAE 学习到的潜在代码，从而能够用于控制合成等下游任务，并且在速度与质量的平衡方面比标准无条件 DDPM / DDIM 模型要好，同时表现出与最先进的模型可比的综合质量，还显示出天生的对不同类型的噪声具有泛化能力。

    Jan, 2022

  • LMD：潜在蒙版扩散技术加速图像重建

    本文介绍了一种更快的图像重建框架 LMD，通过潜在遮蔽扩散方法，将高分辨率图像投影和重建在潜在空间中，设计了渐进遮蔽扩散模型，通过三种不同的调度器逐渐提高遮蔽比例，以从简单到困难地重建潜在特征，从而加快模型训练速度，同时保持了原始准确性，并在下游任务中显著提高推理速度。

    Dec, 2023

  • 使用潜在扩散模型进行高分辨率图像合成

    通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

    Dec, 2021

  • 基于扩散模型的风格生成对抗网络中的属性变化探索

    现有的属性编辑方法将语义属性视为二进制，导致每个属性只能进行一次编辑。然而，如眼镜、微笑或发型等属性展示了广泛的多样性。在本研究中，我们通过建模属性编辑的多维性质来提出 “多样属性编辑” 的任务，从而使用户能够为每个属性生成多个合理的编辑。我们利用预训练 GAN 的分离潜空间和训练一个去噪扩散概率模型（DDPM）来学习用于多样编辑的潜分布。具体而言，我们通过嵌入具有单个属性变化的图像对来训练 DDPM，从而得到能够实现多样属性编辑的潜子空间。在高度压缩的潜空间中应用扩散使我们能够在有限的计算资源内模拟丰富的编辑分布。通过广泛的定性和定量实验，我们展示了我们的方法在多样属性编辑方面的有效性。我们还展示了我们的方法在各种面部属性的三维编辑方面的结果。

    Nov, 2023

  • 图像编辑的紧凑且语义潜空间的解缠和可控

    我们提出了一种自编码器方法，通过重新组织 StyleGAN 的潜空间，使我们希望编辑的每个属性对应于新潜空间的一个轴，同时确保潜空间轴之间的相关性降到最低，以促进属性解缠，通过实验证明了我们的方法在编辑能力上超越了竞争方法，同时在保持图像身份一致性方面与原始图像具有高度的准确性，我们的自编码器结构简单明了，易于实现。

    Dec, 2023