使用相对相似性监督的场景图嵌入
本文通过使用图神经网络测量场景图的相似度,提出了一种基于场景图相似度的图像检索方法,并使用人工注释的标题计算图片相关性测量来训练图神经网络,收集了一个数据集用于评估检索算法,并显示我们的方法比竞争方法更符合人类对图像相似性的感知。
Dec, 2020
本文提出了一种改进场景图生成的方法,通过显式建模整个对象实例的相互依赖关系,设计了一种简单而有效的关系嵌入模块,使我们的模型能够联合表示所有相关对象之间的连接,而不是只关注单个对象。在基本 Faster R-CNN 的基础上使用它,我们的模型在 Visual Genome 基准测试上取得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块,我们进一步提高了性能。在广泛的消融研究中,我们验证了我们的最终模型 LinkNet 在场景图生成方面的效果。
Nov, 2018
本研究提出使用场景图上下文来改善场景图的图像生成,通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失,从而不仅能够生成逼真的图像,还能更好地保留非空间对象之间的关系,并定义两个评估指标,Relation Score 和 Mean Opinion Relation Score,直接评估场景图的一致性,并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。
Jan, 2019
本研究通过引入对比学习框架,提出了一种用于测量图像和场景图相似性的图像 - 图形对齐方法,并且通过引入 R-Precision 作为新的评估指标,建立了基于 Visual Genome 和 Open Images 数据集的新基准。
Apr, 2023
本研究提出了一种新颖的基于注意力机制的关系网络,其包含两个关键模块和一个目标检测主干以实现场景图自动生成,并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。
Nov, 2018
提出了两种改进场景结构表示法的方法,通过启发式关系和极端点表示法,显著提高相关分数测量方法的性能,并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块,这是实现逼真图像生成的重要一步。
Apr, 2019
本文为场景图生成的详细调查报告,主要讨论了场景图生成的各种技术、它们的有效性以及场景图在视觉关系理解和其他任务中的应用,同时分析了未来发展的方向。
May, 2020
本文提出了一种基于场景图的三维场景理解方法,它将场景中的实体组织成图形式,运用基于 PointNet 和 Graph Convolutional Networks(GCN)的学习方法实现了场景图的回归,并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。
Apr, 2020