通过使用预训练的无条件生成器和重新排列特征图来生成与给定语义掩模相匹配的逼真图像。该方法在各种应用中表现出优势,包括真实图像的自由空间编辑,素描转照片,甚至涂鸦转照片。
Feb, 2024
本文提出了一种新的无监督学习范例 (Unsupervised Paradigm for SIS, USIS),通过使用自监督分割损失和基于整个图像小波的鉴别方法,结合在小波域中的生成器结构,使得语义图像合成 (SIS) 在不需要大量的配对数据的情况下实现,从而弥补了配对和非配对模型之间的性能差距。在三个具有挑战性的数据集上进行测试,证明了新方法的有效性。
May, 2023
该研究提出了一种网络结构,可以自动操纵或生成图像物体类别的语义分割掩码,尤其关注人脸的形状操纵,通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器,可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码,这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。
Jul, 2023
通过使用一个交叉注意力机制来合并身份、风格和语义特征生成尽可能与输入相似的人脸的 SIS 架构,不仅适用于保护身份,而且在面部识别对抗攻击中也是有效的。
Apr, 2024
本调查总结了涵盖二十年的 SiS 研究,并提出了文献综述以及使用转换器的深度学习方法的最新趋势,并强调了 DASiS 技术的影响,其中包括多域学习,域泛化和在对新环境进行分割时削减域。项目还介绍了几个与语义图像分割相关的任务和应用,如医学图像分割。
Feb, 2023
该论文提出了一种面向现实的域适应方法,通过学习合成数据,结合目标引导的蒸馏和空间感知的适应方案,可以提高语义分割网络从合成到真实城市场景的泛化能力。
Nov, 2017
本研究利用合成数据中的几何信息,结合图像翻译网络和任务网络,通过对抗性训练同时进行深度估计和语义分割,有效地缩小域差距,实现了跨域语义分割的重大性能提高。
Dec, 2018
提出了一种鲁棒的条件扩散模型,用于语义图像合成,通过标签扩散处理噪声标签,同时引入类别权重的噪声时间表来增强鲁棒性。在实验中证明了该方法在生成高质量样本方面的有效性,并模拟了现实应用中的人类错误情况。
本文提出了一种无需真实图像数据的方法,通过修改前景和背景类的训练方法来适应合成图像,有效地训练出了适用于城市街景和驾驶场景的图像语义分割模型。
Jul, 2018
通过三种不同的生成式人工智能方法应用驾驶模拟器中的语义标签图作为创建真实数据集的桥梁,本文比较分析了这些方法的图像质量和感知能力,产生了包括驾驶图像和自动生成的高质量注释的新合成数据集,证明了扩散式方法可以提供改进的稳定性和解决 Sim2Real 挑战的替代方法。