该研究证明使用带有适当结构的前馈网络进行直接回归,而不必依赖对抗性训练,可以从语义布局中合成具有照片外貌的图像,并通过实验证明此方法比其他方法更加逼真。
Jul, 2017
采用半参数方法进行基于语义布局的摄影图像合成:利用训练集中构建的图像片段的记忆库与深度网络相结合,比目前纯参数化技术更能生成逼真的图像。
Apr, 2018
通过使用自适应规范化层来调整激活函数,我们提出了一种简单但有效的方法来合成具有输入语义布局的逼真图像,这种方法可以提高视觉保真度和与输入布局的对齐度,并允许用户控制语义和风格。
Mar, 2019
我们提出了一种新的无标签条件的扩散模型,通过神经语意图像合成从预训练基础模型提取的神经布局作为条件来实现细粒度的空间控制,实验结果表明,通过神经语意图像合成合成的图片在语义分类、实例分离和物体方向上比较传统的无标签条件选项更具优势,同时,我们还展示了通过神经布局条件生成的图片能够有效地用于训练各种感知任务。
Jul, 2024
该研究提出使用基于类比的语义控制生成城市场景的方法,并证明该方法在各项指标和城市场景基准测试中优于现有基线。 此外,作者还证明了用于数据增强的实用性。
Jun, 2021
通过在生成器中条件化卷积核以更好地利用语义布局,提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法,该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。
Oct, 2019
本文提出一种新的基于语义布局的文本到图像的分层方法,通过语义布局生成器和图像生成器将生成过程分解为多个步骤完成,能够提高图像质量和与输入文本的语义对齐性。
Jan, 2018
我们提出了一种新颖的扩散模型,通过全局语义融合和自相似特征增强模块来引导对象的一致性,并采用自相似性一致性注意模块来显式地将局部背景一致性整合到每个像素的生成过程中。实验结果表明,该方法在图像生成质量和可控性方面具有优势。
Nov, 2023
我们提出了一种弱监督方法,实现复杂场景下的有条件图像生成,在该方法中,用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别,以及文本描述或属性来控制局部和全局风格,同时引入语义注意力模块来支持文本描述的条件,该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性,我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型,这使我们能够访问未注释的数据,并提供结构化实例信息。在这样的设置下,我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。
Dec, 2019
该研究提出了一种高分辨率稀疏注意力模块和一个生成器架构,可以在语义标签映射的基础上,有效地实现将输入图像的视觉细节转移至新布局。实验证明,该方法在图像修补和布局操作方面的性能得到了大幅提高。
Dec, 2020