场景图预测的生成组合增强
研究使用视觉图像中的基于场景图谱的结构化表示,通过端到端模型建模图像中对象之间的关系,通过消息传递技术可以更好预测对象及其关系, 实验表明该模型显著优于以前的方法。
Jan, 2017
本研究提出使用生成对抗网络(GAN)生成细粒度场景图的方法,该方法首先生成单个关于具体区域场景的子图,并在不需要边界框标签的情况下,生成带属性信息的场景图。实验证明了该模型在数据集上的表现优于之前的工作,并能处理更大的词汇量。
Feb, 2018
提出了一种利用场景图生成图像的模型,其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局,并使用级联细化网络将布局转换为图像,训练对抗鉴别器来确保生成的图像具有逼真度。
Apr, 2018
本研究提出使用场景图上下文来改善场景图的图像生成,通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失,从而不仅能够生成逼真的图像,还能更好地保留非空间对象之间的关系,并定义两个评估指标,Relation Score 和 Mean Opinion Relation Score,直接评估场景图的一致性,并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。
Jan, 2019
本文提出了一种基于场景图的递增式图像生成模型,该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像,实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。
May, 2019
提出了一种新的方法,通过逐步生成整个布局描述来改善物体间的依赖关系,从而生成高质量的中间布局和最终图像,提高了布局覆盖率近20个百分点,减少了物体之间的重叠到可忽略的程度。
Sep, 2020
本文提出了一个用于无条件生成场景图的生成模型SceneGraphGen,通过层级循环架构直接学习带标签和有向图的概率分布,生成的场景图多样且遵循真实场景的语义模式,同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。
Aug, 2021
利用预训练的文本到图像扩散模型和CLIP引导,我们的方法通过消除中间布局的预测,将图形知识转化为图像,从而生成与给定场景图一致的图像。实验证明,我们的方法在COCO-stuff和Visual Genome数据集的标准基准上优于现有方法。
Jan, 2024