语义调色板:使用类别比例引导场景生成
通过在生成器中条件化卷积核以更好地利用语义布局,提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法,该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。
Oct, 2019
提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法,并使用可微分渲染模块优化生成的布局。实验表明,该模型可以更精确和多样地进行条件场景合成,并允许从各种输入形式生成样本化场景。
Jul, 2020
本文提出了一种基于图像元素的深度生成模型 CGL-GAN,并设计了域对齐模块 DAM 来缩小训练和测试输入之间的差距,进而生成符合美感直觉的高质量图形布局。
Apr, 2022
本文提出了一种基于语义瓶颈的 GAN 模型,通过使用像素级分割标签来生成高保真的场景布局,并用其完成复杂场景的生成合成。结果表明,这种方法在无监督图像合成方面优于现有的最先进的生成模型,并且可以作为额外的训练数据以大幅提高分割至图像综合网络的性能。
Nov, 2019
提出利用语义布局来综合生成逼真图像的新方法,该方法建立了区域之间的依赖关系并通过动态加权网络实现,既保留了语义区分,同时加强了语义相关性,提高了全局结构和细节的合成质量。
Sep, 2021
从场景图生成逼真合理的三维场景,利用大型语言模型显式汇总全局图特征和局部关系特征,通过统一的图卷积网络从更新的场景图中提取图特征,并引入基于 IoU 的正则化损失来约束预测的三维布局。在 SG-FRONT 数据集上进行基准测试,我们的方法在场景级准确性方面取得了更好的三维场景合成效果。发表后将发布源代码。
Mar, 2024
我们提出了一个新颖的多领域艺术品合成框架,通过语义布局生成艺术作品。我们还提出了一种名为 ArtSem 的数据集,包含 40,000 张不同领域的艺术品图像及其对应的语义标签地图。利用条件生成对抗网络(GAN),我们在不需要成对训练数据的情况下,从语义地图生成高质量的艺术品。我们的模型能够学习样式和语义信息的结合表示,从而提高生成艺术图像的质量。通过结合数据集和方法,我们能够生成用户可控的高质量艺术作品。
Aug, 2023
通过新型神经网络 Urban-StyleGAN,使用分组策略和无监督潜在空间探索算法,实现了更好的城市场景生成和内容控制。
May, 2023