ECCVJul, 2020

草图图像主旨：仿人分层场景图生成

PDF
TL;DR介绍了一种新的场景图生成方法，该方法利用人类对图像给出主要对象和关键关系的认知习惯构建一个基于层次结构的人类模拟分层实体树，利用 Hybrid-LSTM 对树进行解析来生成场景图，并且设计了一个关系排序模块，动态调整场景图中的关键关系的排序来提升图像的下游任务表现。
scene graphhierarchical structurerelation rankinghybrid-lstmimage-specific relations
发现论文，激发创造
  • 用于布局组合和补丁检索的简洁场景图

    提出了两种改进场景结构表示法的方法，通过启发式关系和极端点表示法，显著提高相关分数测量方法的性能，并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块，这是实现逼真图像生成的重要一步。

    Apr, 2019

  • 迭代消息传递的场景图生成

    研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系， 实验表明该模型显著优于以前的方法。

    Jan, 2017

  • 无条件场景图生成

    本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

    Aug, 2021

  • 层次 LSTM 几何场景解析

    本研究提出了一种名为 Hierarchical Long Short-Term Memory（H-LSTM）的循环神经网络模型，它包含两个耦合子网络，即 Pixel LSTM 和 Multi-scale Super-pixel LSTM，用于处理表面标记和关系预测，分别提供补充信息以利用分层场景上下文，联合优化以提高性能，并能在几何场景中解析场景几何结构，并且具有优秀的 3D 重建结果。

    Apr, 2016

  • 图像字幕层次分析

    该论文提出了一种基于分层结构的图像编码器，通过将图像分解为实例级别、区域级别和整体级别的层次结构，引入了分层解析（HIP）架构，大大提高了基于神经网络的图像描述性能，结合图卷积网络（GCN）可以进一步提高描述性能。

    Sep, 2019

  • 一次性场景图生成

    通过使用图形卷积网络和实例关系转换编码器，利用先前的关系和常识知识，提出一种用于一次性场景图生成任务的多重结构化知识方法，并且在构建的数据集上实现了历史最佳的结果。

    Feb, 2022

  • 从整体和特定区域叙述中综合合成场景图的 GPT4SGG

    从自然语言描述中学习场景图已被证明是生成场景图的一种廉价且有前途的方法。为了解决从非结构化标题数据中提取有意义的关系三元组、从解析过的三元组中定位未定位对象的模糊问题以及标题数据的稀疏性和偏向性等问题，我们提出了一个简单而有效的框架 GPT4SGG，通过综合和区域特定的叙述来合成场景图，从而显著提高了在图像 - 标题数据上训练的 SGG 模型的性能。我们相信这项开创性的工作可以激发进一步研究语言模型的视觉推理能力。

    Dec, 2023

  • 通过学习图像描述实现深度结构场景解析

    本文提出了一种基于深度架构的场景理解方法，通过一个卷积神经网络和一个递归神经网络分别提取图像特征和分层物体结构，结合基于描述性语句的弱监督训练，实现场景图像的自动解析，该方法在 PASCAL VOC 2012 数据集上表现出色。

    Apr, 2016

  • HIG：视频理解中的层次交织图场景图生成方法

    在本文中，我们从人类和物体之间的密集互动中推导出场景图表示，以探索视觉内容中的互动理解。为了实现这一目标，我们首先提出了一个含有广泛互动标记视频的新数据集，称为 ASPIRe，并提出了一种名为 Hierarchical Interlacement Graph（HIG）的新方法，通过分层结构中的统一层和图，深入研究场景变化的五个不同任务。通过在各种场景中进行的广泛实验，我们的方法表现出优越的性能。

    Dec, 2023

  • 基于生成的分层模型，用于部件、物体和场景

    本文提出的深度潜变量模型 RICH 能够通过无监督学习来学习可解释的组成层次结构，并通过自上而下的方法使用高层表示来指导低层分解，在包含多个具有不同部分构成的对象的图像中，我们证明 RICH 能够学习潜在的组成层次结构并生成虚拟场景。

    Oct, 2019