无条件场景图生成
研究使用视觉图像中的基于场景图谱的结构化表示,通过端到端模型建模图像中对象之间的关系,通过消息传递技术可以更好预测对象及其关系, 实验表明该模型显著优于以前的方法。
Jan, 2017
本研究提出使用生成对抗网络(GAN)生成细粒度场景图的方法,该方法首先生成单个关于具体区域场景的子图,并在不需要边界框标签的情况下,生成带属性信息的场景图。实验证明了该模型在数据集上的表现优于之前的工作,并能处理更大的词汇量。
Feb, 2018
提出了一种利用场景图生成图像的模型,其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局,并使用级联细化网络将布局转换为图像,训练对抗鉴别器来确保生成的图像具有逼真度。
Apr, 2018
提出了一种高效且可解释的场景图生成器,考虑了视觉、空间和语义三种特征并使用了后期融合策略,模型在 OpenImages 可视关系检测竞赛中表现优越,得分比第二名高出 5%(相对增长率 20%),该生成器是实现基于视觉语言任务如图像字幕和视觉问答的重要基石。
Nov, 2018
本研究提出使用场景图上下文来改善场景图的图像生成,通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失,从而不仅能够生成逼真的图像,还能更好地保留非空间对象之间的关系,并定义两个评估指标,Relation Score 和 Mean Opinion Relation Score,直接评估场景图的一致性,并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。
Jan, 2019
本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法,提取外部常识知识以改进场景图的可推广性,并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题,全面实验证明我们的框架可以生成更好的场景图,并在“视觉关系检测”和“视觉基因组”两个基准数据集上实现了最先进的性能。
Apr, 2019
本文提出了一种基于场景图的递增式图像生成模型,该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像,实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。
May, 2019
通过学习数据中的规范图形表征,我们提出了一种新模型,以改进复杂视觉场景的图像生成,并在Visual Genome、COCO和CLEVR三个基准测试上展示了模型的改进性能。
Dec, 2019
本文介绍了一项新的生成任务:联合场景图像生成。通过引入DiffuseSG模型,本文探索了生成逼真的场景图,使得图像生成具备高效和可解释性的控制能力,并展示了该模型在场景图生成以及相关应用中的优越性。
Jan, 2024