CVPRMar, 2021

通过概率分布建模的多样化语义图像合成

PDF
TL;DR本文提出了一种从语义类分布的角度来支持语义或实例级别多样性生成的多样语义图像合成框架，包括条件调制参数和噪声重映射，并在多个数据集上取得了良好的效果。
semantic image synthesisdiverse generationconditional modulation parametersprior noise remappinginstance style control
发现论文，激发创造
  • 基于条件 IMLE 的语义布局多样的图像合成

    本文研究了条件图像合成中的多样性问题，提出了基于 IMLE 框架的新方法，用于从语义分割映射生成具有不同外观的图像，并能够生成更多样化的图像，同时产生更少的伪影，具有合理的潜在空间结构。

    Nov, 2018

  • 通过扩散模型实现语义图像合成

    本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

    Jun, 2022

  • IIDM：语义图像合成的图像到图像扩散模型

    本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

    Mar, 2024

  • 语义合成图像

    提出利用语义布局来综合生成逼真图像的新方法，该方法建立了区域之间的依赖关系并通过动态加权网络实现，既保留了语义区分，同时加强了语义相关性，提高了全局结构和细节的合成质量。

    Sep, 2021

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 解锁预训练的图像骨干网络用于语义图像合成

    提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。

    Dec, 2023

  • 语义 RGB-D 图像合成

    提出了一种用于 RGB-D 语义图像合成的多模态数据生成器，并通过鉴别器来确保标签图和生成图像之间的语义一致性及真实图像和生成图像之间的感知相似性，实验证明该方法在 RGB-D 语义分割方案中表现出了显著优势，以及通过在训练过程中混合真实图像和生成图像可以显著提高方案的准确性。

    Aug, 2023

  • SatDM：使用扩散模型进行语义布局调节的合成逼真卫星图像

    利用条件 DDPM 模型生成高质量、多样化和准确的卫星图像，以及改进噪声调度、自适应归一化和自注意机制，通过算法和人类意见研究验证其在数据增强等实际应用中的有效性。

    Sep, 2023

  • 通过语义扩散引导使图像合成更加可控

    该研究探讨了图像合成模型的细粒度、连续控制，提出了一种新的语义扩散引导统一框架，可以注入预训练的无条件扩散模型的语言或图像指导，并在 FFHQ 和 LSUN 数据集上进行了实验。

    Dec, 2021

  • 基于类别和层次的 VAEs 实现多样化语义图像合成和编辑

    本文提出了一种基于变分自编码器的类别和层次的扩展方法，能够通过学习多个潜在空间在本地和全局水平上灵活地控制每个对象类别以处理确定对象样式的各种因素，生成的图像在真实数据集、合成数据集三个不同领域的广泛实验中都表现出更加合理、更具多样性的特点，可用于图像合成和编辑任务。

    Jun, 2021