Nov, 2023

基于扩散模型的风格生成对抗网络中的属性变化探索

PDF
TL;DR现有的属性编辑方法将语义属性视为二进制，导致每个属性只能进行一次编辑。然而，如眼镜、微笑或发型等属性展示了广泛的多样性。在本研究中，我们通过建模属性编辑的多维性质来提出 “多样属性编辑” 的任务，从而使用户能够为每个属性生成多个合理的编辑。我们利用预训练 GAN 的分离潜空间和训练一个去噪扩散概率模型（DDPM）来学习用于多样编辑的潜分布。具体而言，我们通过嵌入具有单个属性变化的图像对来训练 DDPM，从而得到能够实现多样属性编辑的潜子空间。在高度压缩的潜空间中应用扩散使我们能够在有限的计算资源内模拟丰富的编辑分布。通过广泛的定性和定量实验，我们展示了我们的方法在多样属性编辑方面的有效性。我们还展示了我们的方法在各种面部属性的三维编辑方面的结果。
attribute editingdiversitymultidimensional naturelatent spaceface attributes
发现论文，激发创造
  • DiffuseGAE：通过解耦表示的可控高保真图像操作

    本篇研究介绍 Diff-AE 与 GAE 两种基于 Diffusion probabilistic models 的编码器模型，实现由多个属性进行图像编辑和生成，大大降低了计算需求，并达到了相当不错的效果，对潜在特征得到了更好的分离。

    Jul, 2023

  • 潜空间中拥有所有：StyleGAN 隐空间探索实现属性编辑和样式操作

    FLAME 是一种使用少量监督来进行操纵编辑方向的简单而有效的框架，可通过操纵潜在空间来实现高度可控的图像编辑。同时，还提出了属性样式操作的新任务，以生成具有不同属性样式的多样化图像。

    Jul, 2022

  • 通过属性和语义掩码对扩散模型进行调节，用于人脸生成

    本文提出了一种利用交叉注意力的多条件扩散模型生成高质量可控人脸图像的方法，并探究了感知加权损失在潜空间中的效果。实验结果表明，该方法可以在保证实现精细控制的同时生成逼真多样的样本。

    Jun, 2023

  • DomainStudio: 使用有限数据对领域驱动图像生成的扩散模型进行微调

    本文提出了一种 DomainStudio 方法，用于将在大规模源数据集上预先训练的 DDPMs 调整到目标域，以在目标域中生成高质量且具有多样性的样本，从而实现无条件少样本图像生成。

    Jun, 2023

  • DragDiffusion：利用扩散模型进行交互式基于点的图像编辑

    本文介绍了一种基于扩散模型的交互式基于点的图像编辑框架 DragDiffusion，并通过优化扩散模型潜在空间实现精确的空间控制。

    Jun, 2023

  • StyleAvatar3D: 基于图像文本扩散模型实现高保真 3D 头像生成

    本文提出了一种新的方法，结合使用预训练的图像文本扩散模型和基于生成对抗网络的 3D 生成网络，用于生成高质量，风格化的 3D 头像，并在视觉质量和多样性方面优于现有最先进的方法。

    May, 2023

  • 扩散式人脸生成模型的偏差分析

    本论文探究了扩散模型在人脸生成中存在的偏见来源，如性别、种族和年龄等属性，并调查了数据集大小对不同属性类别下扩散模型和对抗生成网络（GAN）模型的属性组成和感知质量的影响，结果发现扩散模型往往会恶化训练数据的分布偏见，同时受到数据集大小的影响，而拥有较多样本的平衡数据集训练的 GAN 模型在不同属性方面表现出较小的偏差。

    May, 2023

  • 通过实例感知潜空间搜索进行分离的面部属性编辑

    本文提出了一种新的框架 (IALS)，它利用来自一组对输入图像评估的属性分类器的监督来注入实例信息，通过执行实例感知潜空间搜索来找到解耦属性编辑的语义方向，并提出了一种 “DT” 度量来量化属性转换和解耦功效，并基于它找到属性级和实例级方向之间的最优控制因子。

    May, 2021

  • 平衡行为：扩散模型中的分布导向去偏

    提出了一种无需额外数据或模型重新训练的去偏置方法，利用属性分布引导生成的图像，通过 Attribute Distribution Predictor（ADP）建立属性分布预测器，从而实现公平生成，并通过生成数据平衡训练集来训练公平属性分类器。

    Feb, 2024

  • 混合潜在扩散

    本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

    Jun, 2022