面部图像合成的语义部件自动生成

Jul, 2023

面部图像合成的语义部件自动生成

Automatic Generation of Semantic Parts for Face Image Synthesis

Tomaso Fontanini, Claudio Ferrari, Massimo Bertozzi, Andrea Prati

TL;DR该研究提出了一种网络结构，可以自动操纵或生成图像物体类别的语义分割掩码，尤其关注人脸的形状操纵，通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器，可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码，这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。

Abstract

semantic image synthesis (SIS) refers to the problem of generating realistic imagery given a semantic segmentation mask that defines the spatial layout of object classes. Most of the approaches in the literature, other than the quality of the generated images, put effort in finding sol

semantic image synthesis shape manipulation latent space human faces generation diversity

发现论文，激发创造

无条件生成器的语义图像合成

通过使用预训练的无条件生成器和重新排列特征图来生成与给定语义掩模相匹配的逼真图像。该方法在各种应用中表现出优势，包括真实图像的自由空间编辑，素描转照片，甚至涂鸦转照片。

Feb, 2024

语义脸部图像合成的对抗性身份注入

通过使用一个交叉注意力机制来合并身份、风格和语义特征生成尽可能与输入相似的人脸的 SIS 架构，不仅适用于保护身份，而且在面部识别对抗攻击中也是有效的。

Apr, 2024

面向城市场景实用语义图像合成

本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

May, 2023

面部生成的可控语义潜在扩散模型

基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。

Mar, 2024

基于小波的无监督标签到图像转换

本文提出了一种新的无监督学习范例 (Unsupervised Paradigm for SIS, USIS)，通过使用自监督分割损失和基于整个图像小波的鉴别方法，结合在小波域中的生成器结构，使得语义图像合成 (SIS) 在不需要大量的配对数据的情况下实现，从而弥补了配对和非配对模型之间的性能差距。在三个具有挑战性的数据集上进行测试，证明了新方法的有效性。

May, 2023

语义图像分割：二十年的研究

本调查总结了涵盖二十年的 SiS 研究，并提出了文献综述以及使用转换器的深度学习方法的最新趋势，并强调了 DASiS 技术的影响，其中包括多域学习，域泛化和在对新环境进行分割时削减域。项目还介绍了几个与语义图像分割相关的任务和应用，如医学图像分割。

Feb, 2023

解锁预训练的图像骨干网络用于语义图像合成

提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。

Dec, 2023

生成语义分割

本论文提出了一种基于生成学习的语义分割方法以及如何将条件网络与后验分布结合起来，从而实现在标准和跨领域的语义分割问题上达到新的最佳性能表现。

Mar, 2023

随机条件扩散模型用于语义图像合成

提出了一种鲁棒的条件扩散模型，用于语义图像合成，通过标签扩散处理噪声标签，同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性，并模拟了现实应用中的人类错误情况。

Feb, 2024

几何图像合成

本研究提出了一种可训练的、基于几何感知的图像生成方法，利用几何和分割等场景信息生成逼真自然、符合期望的场景结构的图像，并通过 GIS 框架插入驾驶场景中的车辆、生成来自 Linemod 数据集的物体新视角，展示其能够广泛适用于新颖的场景、物体形状和分割，且可用于合成大量训练数据以训练实例分割模型。

Sep, 2018