Nov, 2023

基于边双场景图和消息传递神经网络的语义场景图生成

PDF
TL;DR通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。
generative aiscene graph generationedge dual scene graph generationdual message passing neural networklong-tail distributions
发现论文，激发创造
  • 关系感知传递神经网络实现无偏异构场景图生成

    本文提出了一种无偏差的异构场景图生成（HetSGG）框架，它使用信息传递神经网络捕捉基于谓词类型的上下文信息，包括复杂的对象间相互作用，并且通过关系感知信息传递神经网络（RMP）实现。我们的广泛评估表明，HetSGG 优于最先进的方法，在尾部谓词类上表现尤为出色。

    Dec, 2022

  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 迭代消息传递的场景图生成

    研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系， 实验表明该模型显著优于以前的方法。

    Jan, 2017

  • 利用边缘定向推理进行基于三维点的场景图分析

    通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。

    Mar, 2021

  • DSGG：稠密关系变换器用于端到端场景图生成

    本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明，该模型在场景图生成任务上取得了最先进的结果，在 mR@50 和 mR@100 方面分别取得了 3.5％和 6.7％的显著改进，在全景场景图生成任务上甚至取得了 8.5％和 10.3％的更大改进。

    Mar, 2024

  • 无条件场景图生成

    本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

    Aug, 2021

  • 从 3D 室内重建学习 3D 语义场景图

    本文提出了一种基于场景图的三维场景理解方法，它将场景中的实体组织成图形式，运用基于 PointNet 和 Graph Convolutional Networks（GCN）的学习方法实现了场景图的回归，并且引入了一个新的数据集 3DSSG 来支持该方法的应用和评估。

    Apr, 2020

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 具有共现知识和可学习的术语频率的场景图生成策略

    通过引入 Co-occurrence Knowledge 以及可学习的 TF-l-IDF，我们提出了一种用于场景图生成的模型（CooK），该模型在 SGG 基准数据集中取得了高达 3.8% 的性能提升，对于所有 MPNN 模型表现出了一致的性能改善。

    May, 2024

  • 面向终身场景图生成的知识感知上下文提示学习

    基于在预训练语言模型中环境背景学习的成就，本论文提出了一种新颖实用的场景图生成框架，名为终身场景图生成（LSGG），在其中任务如谓词以流式方式展开。严格实验表明，我们提出的方法在 LSGG 方面在各种度量标准上优于现有方法。此外，在两个主流基准数据集 VG 和 Open-Image (v6) 上的广泛实验显示了我们提出的模型在连续学习和传统设置方面的优势。此外，全面的消融实验证明了我们模型的每个组成部分的有效性。

    Jan, 2024