CVPRMar, 2020

语义多模态图像合成

PDF
TL;DR本文关注于语义多模态图像合成（SMIS）任务，提出了一种新型的 Group Decreasing Network (GroupDNet)，利用组卷积在生成器中进行，并逐渐减少解码器中卷积的组数。在多种具有挑战性的数据集上的实验证明了 GroupDNet 在执行 SMIS 任务方面有卓越的性能。
semantically multi-modal image synthesisgroup decreasing networkgroup convolutionscontrollabilitysynthesis applications
发现论文，激发创造
  • 解锁预训练的图像骨干网络用于语义图像合成

    提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。

    Dec, 2023

  • 语义 RGB-D 图像合成

    提出了一种用于 RGB-D 语义图像合成的多模态数据生成器，并通过鉴别器来确保标签图和生成图像之间的语义一致性及真实图像和生成图像之间的感知相似性，实验证明该方法在 RGB-D 语义分割方案中表现出了显著优势，以及通过在训练过程中混合真实图像和生成图像可以显著提高方案的准确性。

    Aug, 2023

  • 通过概率分布建模的多样化语义图像合成

    本文提出了一种从语义类分布的角度来支持语义或实例级别多样性生成的多样语义图像合成框架，包括条件调制参数和噪声重映射，并在多个数据集上取得了良好的效果。

    Mar, 2021

  • 面部图像合成的语义部件自动生成

    该研究提出了一种网络结构，可以自动操纵或生成图像物体类别的语义分割掩码，尤其关注人脸的形状操纵，通过嵌入类别到潜在空间并使用双向 LSTM 块和卷积解码器，可以独立地编辑每个类别的嵌入向量以输出一个新的本地操作后的掩码，这项研究结果定量和定性地表明该模型享有较高的生成多样性和控制能力。

    Jul, 2023

  • 文本到图像合成中的语义关联对抗学习

    本研究提出了一种新的方法，改进了生成对抗网络（GANs）训练的能力，可以根据文本输入合成多样的图像，这种方法基于条件版本的 GANs，扩展了前人利用判别器中的辅助任务，通过负样本采样来构造积极和消极的训练样例，通过牛津 102 花卉数据集的实验结果表明，生成的图像更具多样性，特别是当负样本逐渐靠近语义空间中的积极样本时。

    Dec, 2018

  • 面部生成的可控语义潜在扩散模型

    基于新型潜在扩散模型结构的人脸生成和编辑的语义图像合成（SIS）框架，通过使用 SPADE 归一化和交叉注意力层合并形状和样式信息，允许对人脸的每个语义部分进行精确控制，从而实现对真实参考图像的重现、操纵和多样化生成的建议系统优于现有的最先进技术，经过广泛的实验验证了其在质量和数量上的优越性。

    Mar, 2024

  • DSE-GAN: 动态语义演化生成对抗网络用于文本到图像生成

    本文提出了一种新的动态语义演化生成对抗网络（DSE-GAN），采用单个生成器 - 鉴别器对的单个对抗训练架构，在每个阶段根据历史阶段的状态（即历史阶段的文本和图像特征）对文本特征进行自适应重新组合，以在粗到细的生成过程中提供多样化和准确的语义引导。在广泛使用的 CUB-200 和 MSCOCO 数据集上，实验结果表明该模型相对 FID 分别提高 7.48％和 37.8％。

    Sep, 2022

  • 具有语义感知上采样的局部和全局 GAN 用于图像生成

    本研究提出了一种基于本地上下文的语义引导图像生成方法，使用本地类别特定的生成网络构建和学习不同类别的子生成器以捕捉更精细的细节，通过一个分类模块来学习更具有鉴别性的类别特定特征表示，并使用一个注意力融合模块和双鉴别器结构嵌入的联合生成网络集成全局图像级别和本地类别特定生成的优点，同时提出了一种新颖的语义感知上采样方法，可以更好地保持相同语义标签实例的语义一致性。

    Feb, 2022

  • 基于条件隐式极大似然估计的多模态图像合成

    本文提出了基于 IMLE 的新型多模式条件图像合成方法，并在两个任务中演示了更好的多模式图像合成性能，即单幅图像超分辨率和从场景布局中的图像合成。

    Apr, 2020

  • 利用半监督的序列生成对抗网络进行双模式医学图像合成

    我们提出了一种基于顺序生成对抗网络（GAN）和半监督学习的双模医学图像合成方法，该方法包括两个生成模块，用于按顺序合成两种模式的图像。通过度量合成复杂性的方法自动确定顺序，首先合成较低复杂度的模式图像，然后再生成较高复杂度的模式图像。我们的顺序 GAN 在半监督方式下进行端到端训练，通过监督训练，从两种模式的真实配对图像中明确最小化真实和合成图像之间的重建损失来学习双模医学图像的联合分布；为了避免过拟合有限的训练图像，在无监督训练中，通过最小化真实图像和合成图像的 Wasserstein 距离学习每种模式的边际分布。我们通过基于三种评估指标和用户研究的两个合成任务全面评估了我们提出的模型。视觉和定量结果证明了我们的方法相对于现有方法的优越性，以及良好的视觉质量和临床重要性。代码公开可用于此 URL。

    Aug, 2023