CVPRDec, 2023

解锁预训练的图像骨干网络用于语义图像合成

PDF
TL;DR提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。
发现论文，激发创造
  • 学习预测布局到图像的条件卷积，用于语义图像合成

    通过在生成器中条件化卷积核以更好地利用语义布局，提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法，该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。

    Oct, 2019

  • 通过扩散模型实现语义图像合成

    本篇论文提出了一种基于 DDPM 的新型框架，用于语义图像合成，通过条件扩散模型来处理语义布局与噪声图像，而引入分类器自由的引导采样策略来进一步提高了生成质量和语义可解释性。

    Jun, 2022

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 面向城市场景实用语义图像合成

    本文提出了一种使用无监督学习和鉴别器的框架，通过对城市场景生成逼真的照片来实现自主驾驶，避免大量验证和训练数据的高昂成本。

    May, 2023

  • IIDM：语义图像合成的图像到图像扩散模型

    本文提出了一种基于图像扩散模型的语义图像合成方法，通过引入随机噪声和逐渐去噪的方式，以分割掩模为指导生成高质量图像，并进一步通过细化、颜色转移和模型集成等技术提高合成质量。大量实验证明本方法在性能上明显超越了现有的最先进方法。

    Mar, 2024

  • 面部生成的可控语义潜在扩散模型

    基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。

    Mar, 2024

  • 通过扩散特征弥合语义分割的领域差距

    利用预训练扩散模型的内在知识，通过采样和融合技术，提出了一种新的扩散特征融合方法（DIFF）来提取和集成有效的语义表示，该方法在领域泛化语义分割和合成到真实情景中均优于先前的方法达到了最优性能。

    Jun, 2024

  • 腹部 CT 的语义图像合成

    我们研究了基于条件扩散模型的腹部 CT 语义图像合成，并对三种不同的扩散模型以及其他基于生成对抗网络的方法进行了系统评估。实验结果表明，扩散模型能够合成具有更好质量的腹部 CT 图像。此外，将语义掩码和输入分别编码比简单拼接更加有效。

    Dec, 2023

  • 基于有条件的 GAN 的高分辨率图像合成和语义操作

    使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

    Nov, 2017

  • 语义图像合成只需要对抗监督

    通过重新设计辨别器作为语义分割网络，直接使用给定的语义标签映射作为训练的地面实况，通过提供更强的监督和对空间和语义感知的辨别器反馈以及通过向生成器注入 3D 噪声张量进行全局和局部采样，我们能够合成更高保真度的图像，并实现高质量的多模态图像合成。

    Dec, 2020