Mar, 2024

面部生成的可控语义潜在扩散模型

PDF
TL;DR基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。
semantic image synthesisdiffusion modelslatent diffusion modelface generationediting
发现论文，激发创造
  • 面部图像合成的语义部件自动生成

    该研究提出了一种网络结构，可以自动操纵或生成图像物体类别的语义分割掩码，尤其关注人脸的形状操纵，通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器，可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码，这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。

    Jul, 2023

  • 语义脸部图像合成的对抗性身份注入

    通过使用一个交叉注意力机制来合并身份、风格和语义特征生成尽可能与输入相似的人脸的 SIS 架构，不仅适用于保护身份，而且在面部识别对抗攻击中也是有效的。

    Apr, 2024

  • 随机条件扩散模型用于语义图像合成

    提出了一种鲁棒的条件扩散模型，用于语义图像合成，通过标签扩散处理噪声标签，同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性，并模拟了现实应用中的人类错误情况。

    Feb, 2024

  • SCP-Diff: 空间 - 分类联合先验的照片级语义图像合成功能

    开发了一种名为 SCP-Diff 的方法来解决语义图像合成中存在的两个主要问题，即大型语义区域内的奇怪子结构和内容与语义掩码的不一致，并在 Cityscapes 和 ADE20K 上取得了卓越成果。

    Mar, 2024

  • 面向城市场景实用语义图像合成

    本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

    May, 2023

  • 高保真人物中心的主体到图像合成

    人物为中心的图像生成方法由于对常规预训练扩散进行微调导致训练不平衡，同时学习场景和人物生成会降低质量。本文提出了 Face-diffuser，一个协作生成管道，通过专门的预训练扩散模型和新颖的机制 (SNF) 消除训练不平衡并提高生成质量。

    Nov, 2023

  • 解锁预训练的图像骨干网络用于语义图像合成

    提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。

    Dec, 2023

  • 通过扩散模型实现语义图像合成

    本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

    Jun, 2022

  • 使用扩散模型进行无偏面部合成：我们已经达到目标了吗？

    利用定性和定量指标以及用户研究，本论文主要研究了生成模型在面部图像生成中的有效性和不足之处，并提出了一个框架来审核生成的面部图像的特征。通过对最先进的文本到图像扩散模型生成的面部进行应用，我们发现面部图像生成存在的限制包括对文本提示的忠实度、人口统计不平衡和分布偏移。此外，我们还提出了一种分析模型，以了解训练数据选择如何影响生成模型的性能。

    Sep, 2023

  • IIDM：语义图像合成的图像到图像扩散模型

    本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

    Mar, 2024