ECCVJun, 2018

可分解网络：一种基于子图的场景图生成高效框架

PDF
TL;DR本文提出了基于子图连接图的场景图生成方法，并采用自下而上的聚类方法将整个场景图分解为子图，并用更少的子图和对象特征替换场景图的众多关系表示，以显著降低中间阶段的计算。采用空间加权消息传递和空间敏感关系推理模块，维护空间信息以促进关系识别，该方法在视觉关系检测和视觉基因组数据集中均优于现有最先进的方法。
scene graphsubgraph-based connection graphbottom-up clustering methodspatial-weighted message passingvisual relationship detection
发现论文，激发创造
  • 场景图生成可解释模型

    提出了一种高效且可解释的场景图生成器，考虑了视觉、空间和语义三种特征并使用了后期融合策略，模型在 OpenImages 可视关系检测竞赛中表现优越，得分比第二名高出 5%（相对增长率 20%），该生成器是实现基于视觉语言任务如图像字幕和视觉问答的重要基石。

    Nov, 2018

  • LinkNet：场景图的关系嵌入

    本文提出了一种改进场景图生成的方法，通过显式建模整个对象实例的相互依赖关系，设计了一种简单而有效的关系嵌入模块，使我们的模型能够联合表示所有相关对象之间的连接，而不是只关注单个对象。在基本 Faster R-CNN 的基础上使用它，我们的模型在 Visual Genome 基准测试上取得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块，我们进一步提高了性能。在广泛的消融研究中，我们验证了我们的最终模型 LinkNet 在场景图生成方面的效果。

    Nov, 2018

  • 因子图约束下的布局生成

    通过因子图神经网络的消息传递，根据用户需求生成符合要求的户型设计，实现了在空间约束下对象中心化的布局生成。

    Mar, 2024

  • 可分解的图卷积网络

    本文提出了一种新的图卷积网络 (FactorGCN)，能够显式地解开图中绕在一起的、包含多种关系的数据，将其拆分成多个因式图，在每个因式图的潜在空间内分别聚合节点的特征，进而实现更好的下游任务表现。在合成和真实世界数据集上进行了定性和定量评估，并展示了真正令人鼓舞的结果。

    Oct, 2020

  • 关注关系网络：将图像映射到场景图

    本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

    Nov, 2018

  • 使用有限标签进行场景图预测

    本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

    Apr, 2019

  • 迭代消息传递的场景图生成

    研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系， 实验表明该模型显著优于以前的方法。

    Jan, 2017

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 利用对抗网络生成三元组以构建场景图

    本研究提出使用生成对抗网络（GAN）生成细粒度场景图的方法，该方法首先生成单个关于具体区域场景的子图，并在不需要边界框标签的情况下，生成带属性信息的场景图。实验证明了该模型在数据集上的表现优于之前的工作，并能处理更大的词汇量。

    Feb, 2018

  • 场景图生成的知识嵌入式路由网络

    通过深度神经网络和知识嵌入式路由网络，结合统计相关性和语义关系之间的知识图谱，实现了场景图的生成和推理，实验证明该方法优于现有技术，解决了因为世界关系分布不均衡导致的场景图推导的难题。

    Mar, 2019