该研究提出了一种网络结构,可以自动操纵或生成图像物体类别的语义分割掩码,尤其关注人脸的形状操纵,通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器,可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码,这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。
Jul, 2023
本文提出了一种使用无监督学习和鉴别器的框架,通过对城市场景生成逼真的照片来实现自主驾驶,避免大量验证和训练数据的高昂成本。
May, 2023
本文提出了一种新的无监督学习范例 (Unsupervised Paradigm for SIS, USIS),通过使用自监督分割损失和基于整个图像小波的鉴别方法,结合在小波域中的生成器结构,使得语义图像合成 (SIS) 在不需要大量的配对数据的情况下实现,从而弥补了配对和非配对模型之间的性能差距。在三个具有挑战性的数据集上进行测试,证明了新方法的有效性。
通过使用一个交叉注意力机制来合并身份、风格和语义特征生成尽可能与输入相似的人脸的 SIS 架构,不仅适用于保护身份,而且在面部识别对抗攻击中也是有效的。
Apr, 2024
提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络(GAN)辨别器,用于语义图像合成,实现了在 ADE-20K,COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果,相较于最近的扩散模型,在推理过程中计算量减少了两个数量级。
Dec, 2023
本调查总结了涵盖二十年的 SiS 研究,并提出了文献综述以及使用转换器的深度学习方法的最新趋势,并强调了 DASiS 技术的影响,其中包括多域学习,域泛化和在对新环境进行分割时削减域。项目还介绍了几个与语义图像分割相关的任务和应用,如医学图像分割。
Feb, 2023
本文提出了一种基于语义瓶颈的 GAN 模型,通过使用像素级分割标签来生成高保真的场景布局,并用其完成复杂场景的生成合成。结果表明,这种方法在无监督图像合成方面优于现有的最先进的生成模型,并且可以作为额外的训练数据以大幅提高分割至图像综合网络的性能。
Nov, 2019
基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成(SIS)框架,通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息,允许对人脸的每个语义部分进行精确控制,从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术,经过广泛的实验验证了其在质量和数量上的优越性。
Mar, 2024
本论文提出了一种基于生成学习的语义分割方法以及如何将条件网络与后验分布结合起来,从而实现在标准和跨领域的语义分割问题上达到新的最佳性能表现。
Mar, 2023
提出了一种鲁棒的条件扩散模型,用于语义图像合成,通过标签扩散处理噪声标签,同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性,并模拟了现实应用中的人类错误情况。
Feb, 2024