针对语义引导场景生成的本地类别特定和全局图像级生成对抗网络

CVPRDec, 2019

针对语义引导场景生成的本地类别特定和全局图像级生成对抗网络

Local Class-Specific and Global Image-Level Generative Adversarial Networks for Semantic-Guided Scene Generation

Hao Tang, Dan Xu, Yan Yan, Philip H. S. Torr, Nicu Sebe

TL;DR本文提出了一种语义引导场景生成的方法，设计了一个局部类特定的生成网络，配合语义地图和注意力融合模块实现了全局和局部场景细节生成的结合，进而在两个场景图像生成任务上取得了最新的最佳结果。

Abstract

In this paper, we address the task of semantic-guided scene generation. One open challenge in scene generation is the difficulty of the generation of small objects and detailed local texture, which has been widely observed in global image-level generation methods. To tackle this issue,

semantic-guided scene generation local class-specific generative network discriminative class-specific feature representations attention fusion module dual-discriminator structure

发现论文，激发创造

具有语义感知上采样的局部和全局 GAN 用于图像生成

本研究提出了一种基于本地上下文的语义引导图像生成方法，使用本地类别特定的生成网络构建和学习不同类别的子生成器以捕捉更精细的细节，通过一个分类模块来学习更具有鉴别性的类别特定特征表示，并使用一个注意力融合模块和双鉴别器结构嵌入的联合生成网络集成全局图像级别和本地类别特定生成的优点，同时提出了一种新颖的语义感知上采样方法，可以更好地保持相同语义标签实例的语义一致性。

Feb, 2022

从属性和语义布局学习生成室外场景图像

探讨利用语义布局和场景属性，通过条件生成对抗网络体系结构生成具有真实感的户外场景图像

Dec, 2016

为语义图像合成而拼贴特定类别的 GAN

我们提出了一种高分辨率的语义图像合成方法，它由基本图像生成器和多个类别特定生成器组成。使用类特定模型的生成器进行独立训练，可以产生高质量的高分辨率图像，同时具有对象级别控制的灵活性。

Oct, 2021

使用生成对抗网络进行半监督和弱监督语义分割

本文利用大量未标注或弱标注的数据和生成式对抗网络作为背景，提出了一种半监督框架实现语义分割，其中利用推理出的大量虚假图片来强化真实数据的特征聚类；同时，通过提供分类级别信息，提高 GAN 生成图像的质量，进而改善了像素分类，该方法经过在几个挑战性的基准视觉数据集上测试，表现与当前的最先进语义分割方法相当。

Mar, 2017

多尺度对比学习引导下的边缘指导生成对抗网络用于语义图像合成

提出了一种新颖的 ECGAN 用于具有挑战性的语义图像合成任务，通过使用边缘作为中间表示，并采用注意力引导的边缘传输模块进行图像生成，设计了一个有效的模块来选择性地突出显示根据原始语义布局的类依赖特征图，通过对比学习方法和多尺度对比学习方法，强化了同一语义类别的像素嵌入生成更相似的图像内容，并利用多个输入语义布局的标记像素结构来明确地探索更多的语义关系。

Jul, 2023

语义感知渐进式生成对抗网络（Grad-GAN）用于虚拟到真实城市场景的适应性

本文提出了一种新的基于 SG-GAN 的虚拟到现实领域自适应方法，可以有效地保留关键语义信息以实现更好的识别。实验证明，与现有 GAN 相比，SG-GAN 在场景自适应方面具有更好的性能，使用 SG-GAN 适应的虚拟图像在语义分割上比原始虚拟数据明显提高。

Jan, 2018

基于注意力引导的生成对抗网络的无监督图像转换

本文提出了基于注意力机制的生成对抗网络 AGGAN，在生成图像时使用内置的注意力机制检测最具有辨别性的语义部分并最小化不需要的部分的变化，训练过程中同时考虑对抗损失、循环一致性损失、像素损失和注意力损失，实验表明 AGGAN 比现有模型能够生成更加清晰和准确的图像。

Mar, 2019

基于生成模型的语义分割：半监督学习与强领域通用化

本论文提出一个创新的框架，利用半监督学习，生成对图像和标签的联合分布进行判别像素级任务，并通过少量标签图像和大量无标签图像的补充进行训练，该方法在医学图像分割和面部分割领域表现出强大的领域内性能，并展示了从 CT 到 MRI 等领域之外的广泛有效性。

Apr, 2021

L2G: 一个简单的局部到全局的知识迁移框架，用于弱监督语义分割

本文提出了以 L2G 为核心的方法，通过本地分类网络从输入图像中随机获取多个局部路径进行注意提取，然后利用全局网络在线学习多个局部注意映射之间的互补关系，从全局视角学习对象的详细知识，从而产生高质量的注意地图，并将其直接用作语义分割网络的伪注释。

Apr, 2022

弱监督图像生成中的风格和语义控制

我们提出了一种弱监督方法，实现复杂场景下的有条件图像生成，在该方法中，用户可以对场景中出现的对象进行精细控制。我们利用稀疏语义地图来控制对象的形状和类别，以及文本描述或属性来控制局部和全局风格，同时引入语义注意力模块来支持文本描述的条件，该模块的计算成本与图像分辨率无关。为了进一步增强场景的可控性，我们提出了一个两步生成方案来分解背景和前景。我们使用大词汇目标检测器产生的标签地图来训练模型，这使我们能够访问未注释的数据，并提供结构化实例信息。在这样的设置下，我们报告了比全监督设置更好的 FID 得分。我们还展示了我们的模型在 COCO 和 Visual Genome 等复杂数据集上操作场景的能力。

Dec, 2019