ECCVAug, 2018

图像场景图生成的图卷积神经网络

PDF
TL;DR提出了一种新颖的场景图生成模型 ——Graph R-CNN，其在检测图像中的对象和它们之间的关系方面既有效又高效。该模型包含一种关系提议网络（RePN），能够有效地处理图像中潜在关系的二次数量。同时，我们提出了一种注意力图卷积网络（aGCN），有效地捕捉对象和关系之间的上下文信息。最后，我们引入了一种比现有指标更全面、更实际的评估方法。我们使用现有指标和我们提出的评估方法评估场景图生成，获得了最先进的性能。
发现论文，激发创造
  • 关注关系网络：将图像映射到场景图

    本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

    Nov, 2018

  • GraphRelate3D：上下文相关的基于关系图的三维物体检测

    通过引入对象关系模块和图神经网络（GNN），从周围建议中提取空间信息并改进 3D 对象检测，该方法在 KITTI 数据集上相较基准方法 PV-RCNN 在简单、中等和困难难度级别的汽车类上分别提升了 0.82%、0.74% 和 0.58%，在中等和困难难度级别的 BEV AP 上优于基准方法超过 1%。

    May, 2024

  • LinkNet：场景图的关系嵌入

    本文提出了一种改进场景图生成的方法，通过显式建模整个对象实例的相互依赖关系，设计了一种简单而有效的关系嵌入模块，使我们的模型能够联合表示所有相关对象之间的连接，而不是只关注单个对象。在基本 Faster R-CNN 的基础上使用它，我们的模型在 Visual Genome 基准测试上取得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块，我们进一步提高了性能。在广泛的消融研究中，我们验证了我们的最终模型 LinkNet 在场景图生成方面的效果。

    Nov, 2018

  • 利用场景图上下文改进图像生成

    本研究提出使用场景图上下文来改善场景图的图像生成，通过引入上下文网络将图卷积神经网络生成的特征并入图像生成网络和对抗性损失，从而不仅能够生成逼真的图像，还能更好地保留非空间对象之间的关系，并定义两个评估指标，Relation Score 和 Mean Opinion Relation Score，直接评估场景图的一致性，并经过定量和定性研究证明了该模型在这一具有挑战性的任务上优于现有技术。

    Jan, 2019

  • SR-GNN: 面向细粒度图像分类的空间关系感知图神经网络

    本文介绍一种有效的方法，通过聚合来自最相关的图像区域的上下文感知特征及其在区分细粒度类别中的重要性来捕获细微变化，避免边框和 / 或可见部分注释，并通过自我关注和图形神经网络的最新进展来包括一种简单而有效的关系感知特征变换及其在端到端学习过程中的性能评估。评估了我们的模型，发现其在八个细粒度对象和人类对象交互数据集上的识别准确性显著优于现有技术。

    Sep, 2022

  • 基于关系图网络的点云三维物体检测

    本文提出了一种基于卷积神经网络的关系图网络模型，该模型利用方向特征、语义特征和空间坐标，结合盒子候选回归和点注意池化，探索关系图对于提高候选物体外观特征的影响，最终成功实现了在点云中检测三维物体的任务。

    Nov, 2019

  • 全卷积场景图生成

    本文提出了一种完全卷积场景图生成（FCSGG）模型，它能够同时检测对象和关系，采用 bottom-up 的方式进行反向传播，成功在 Visual Genome 数据集上获得了高效、高精度的结果。

    Mar, 2021

  • 关系变换网络

    该论文提出了一种新颖的 transformer 模型，用于场景图生成和关系预测，利用编码器 - 解码器架构和节点和边的丰富特征嵌入，通过自我注意力和交叉注意力模拟节点之间和边与节点之间的交互，并引入适用于处理解码器中的边的新的位置嵌入。

    Apr, 2020

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018