语义瓶颈场景生成

Nov, 2019

Semantic Bottleneck Scene Generation

Samaneh Azadi, Michael Tschannen, Eric Tzeng, Sylvain Gelly, Trevor Darrell...

TL;DR本文提出了一种基于语义瓶颈的 GAN 模型，通过使用像素级分割标签来生成高保真的场景布局，并用其完成复杂场景的生成合成。结果表明，这种方法在无监督图像合成方面优于现有的最先进的生成模型，并且可以作为额外的训练数据以大幅提高分割至图像综合网络的性能。

Abstract

Coupling the high-fidelity generation capabilities of label-conditional image synthesis methods with the flexibility of unconditional generative models, we propose a semantic bottleneck GAN model for unconditional synthesis of complex scenes. We assume pixel-wise segmentation labels ar

image synthesis semantic segmentation generative models unsupervised learning scene structure

发现论文，激发创造

语义调色板：使用类别比例引导场景生成

该研究提出使用基于类比的语义控制生成城市场景的方法，并证明该方法在各项指标和城市场景基准测试中优于现有基线。此外，作者还证明了用于数据增强的实用性。

Jun, 2021

学习预测布局到图像的条件卷积，用于语义图像合成

通过在生成器中条件化卷积核以更好地利用语义布局，提出一种特征金字塔语义嵌入判别器的多尺度生成对抗网络方法，该方法在各种语义分割数据集上实现了优秀的量化指标和主观评估。

Oct, 2019

基于生成模型的语义分割：半监督学习与强领域通用化

本论文提出一个创新的框架，利用半监督学习，生成对图像和标签的联合分布进行判别像素级任务，并通过少量标签图像和大量无标签图像的补充进行训练，该方法在医学图像分割和面部分割领域表现出强大的领域内性能，并展示了从 CT 到 MRI 等领域之外的广泛有效性。

Apr, 2021

无标签神经语义图像合成

我们提出了一种新的无标签条件的扩散模型，通过神经语意图像合成从预训练基础模型提取的神经布局作为条件来实现细粒度的空间控制，实验结果表明，通过神经语意图像合成合成的图片在语义分类、实例分离和物体方向上比较传统的无标签条件选项更具优势，同时，我们还展示了通过神经布局条件生成的图片能够有效地用于训练各种感知任务。

Jul, 2024

解锁预训练的图像骨干网络用于语义图像合成

提出了一种新型的基于特征骨干网络和交叉注意力机制的生成对抗网络（GAN）辨别器，用于语义图像合成，实现了在 ADE-20K，COCO-Stuff 和 Cityscapes 数据集上与输入标签地图的图像质量和一致性方面的最先进结果，相较于最近的扩散模型，在推理过程中计算量减少了两个数量级。

Dec, 2023

基于有条件的 GAN 的高分辨率图像合成和语义操作

使用条件生成对抗网络（conditional GANs）从语义标签图中合成高分辨率照片般真实的图像，并通过使用新的对抗性损失、多尺度生成器和鉴别器体系结构，生成 2048x1024 的视觉吸引力结果。此外，我们将我们的框架扩展到与两个额外功能的交互式视觉操作，它们是：将对象实例分割信息整合进去以进行对象操作（如删除 / 添加对象和更改对象类别），以及提出一种方法，可以在给定相同输入的情况下，生成不同的结果，允许用户交互式地编辑对象外观。人的意见研究表明，我们的方法在深层图像合成和编辑方面的质量和分辨率方面都显着优于现有方法。

Nov, 2017

使用较少标签进行高保真图像生成

本文介绍了如何利用自监督学习和半监督学习等技术结合生成式对抗网络，实现在仅使用少量标签数据的情况下，超越当前最先进的深度生成模型，并在 ImageNet 的无监督合成和有条件的情况下，匹配 BigGAN 模型的样本质量。

Mar, 2019

场景布局的端到端优化

提出一种基于变分生成模型和场景图条件的端到端场景布局合成方法，并使用可微分渲染模块优化生成的布局。实验表明，该模型可以更精确和多样地进行条件场景合成，并允许从各种输入形式生成样本化场景。

Jul, 2020

无条件生成器的语义图像合成

通过使用预训练的无条件生成器和重新排列特征图来生成与给定语义掩模相匹配的逼真图像。该方法在各种应用中表现出优势，包括真实图像的自由空间编辑，素描转照片，甚至涂鸦转照片。

Feb, 2024

基于神经渲染的无监督连续语义适应

本文研究了语义分割的连续多场景自适应问题，提出了基于 Semantic-NeRF 网络的解决方案，通过将分割模型的预测结果融合，使用视点一致的渲染语义标签来适应模型。我们在 ScanNet 数据集上测试，取得了比基线和最先进的无监督域自适应方法更好的性能。

Nov, 2022