从场景图生成图像

Apr, 2018

Image Generation from Scene Graphs

Justin Johnson, Agrim Gupta, Li Fei-Fei

TL;DR提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

Abstract

To truly understand the visual world our models should be able not only to recognize images but also generate them. To this end, there has been exciting recent progress on generating images from natural language descriptions. These methods give stunning results on limited domains such

发现论文，激发创造

迭代消息传递的场景图生成

研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系，实验表明该模型显著优于以前的方法。

Jan, 2017

利用对抗网络生成三元组以构建场景图

本研究提出使用生成对抗网络（GAN）生成细粒度场景图的方法，该方法首先生成单个关于具体区域场景的子图，并在不需要边界框标签的情况下，生成带属性信息的场景图。实验证明了该模型在数据集上的表现优于之前的工作，并能处理更大的词汇量。

Feb, 2018

利用场景图上下文改进图像生成

本研究提出使用场景图上下文来改善场景图的图像生成，通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失，从而不仅能够生成逼真的图像，还能更好地保留非空间对象之间的关系，并定义两个评估指标，Relation Score 和 Mean Opinion Relation Score，直接评估场景图的一致性，并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。

Jan, 2019

PasteGAN: 从场景图生成图像的半参数方法

提出了一种名为PasteGAN的半参数方法，结合场景图和图像裁剪来生成具有所需对象和丰富交互的图像，使用Crop Refining Network和Object-Image Fuser设计算法来增强对象间的交互，并设计了Crop Selector来选择最兼容的对象进行生成。在Visual Genome和COCO-Stuff数据集上通过评估表明，该方法显著优于SOTA方法。

May, 2019

使用场景图实现交互式图像生成

本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

May, 2019

场景图像生成中规范表示的学习

通过学习数据中的规范图形表征，我们提出了一种新模型，以改进复杂视觉场景的图像生成，并在Visual Genome、COCO和CLEVR三个基准测试上展示了模型的改进性能。

Dec, 2019

场景图预测的生成组合增强

通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

Jul, 2020

具有上下文对象布局细化的场景图像生成

提出了一种新的方法，通过逐步生成整个布局描述来改善物体间的依赖关系，从而生成高质量的中间布局和最终图像，提高了布局覆盖率近20个百分点，减少了物体之间的重叠到可忽略的程度。

Sep, 2020

无条件场景图生成

本文提出了一个用于无条件生成场景图的生成模型SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

Aug, 2021

从自然语言监督中学习生成场景图

本文提出了一种通过图像-句子对学习的方法，以提取图像中本地化对象及其关系的图形表示，即场景图，其中利用了现成的对象检测器来识别和定位对象实例，并通过掩码标记预测任务预测伪标签以学习场景图。通过学习图像-句子对，我们的模型相较于使用人工注释的非定位场景图训练的最新方法获得了30％的相对增益。同时，在弱监督和全监督场景图生成方面，我们的模型也展现了出色的结果，我们还探究了用于检测场景图的开放词汇设置，并呈现了首个开放式场景图生成的结果。

Sep, 2021