CVPRMar, 2024

DSGG：稠密关系变换器用于端到端场景图生成

PDF
TL;DR本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明，该模型在场景图生成任务上取得了最先进的结果，在 mR@50 和 mR@100 方面分别取得了 3.5％和 6.7％的显著改进，在全景场景图生成任务上甚至取得了 8.5％和 10.3％的更大改进。
scene graph generationtransformer-based methodgraph-aware queriesrelational semantic overlaprelation distillation
发现论文，激发创造
  • SGTR：基于 Transformer 的端到端场景图生成

    提出了一种基于 Transformer 的端到端框架，利用结构化谓语生成器开发了一种新的实体感知的谓语表示方法，设计了图组装模块以推断适应性的进行双部分场景图形的构建，并在两个具有挑战性的基准测试中取得了最先进或可比的性能，并提高了推理效率。

    Dec, 2021

  • 可微分场景图

    该论文介绍了 Differentiable Scene Graphs (DSGs)—— 一种可微的、可端到端优化的图像表示方法，该方法通过利用有标签的下游任务进行监督，对场景图中的实体和关系进行密集编码，从而在视觉推理任务中取得了新的最优表现，特别在指代关系标识方面表现良好。

    Feb, 2019

  • 从 Transformer 中提取出图形用于场景图生成的 EGTR

    提出一种轻量级的一阶场景图生成（SGG）模型，通过充分利用 DETR 解码器的多头自注意力层中学习到的各种关系，使用浅层关系抽取头有效地提取关系图，并考虑到关系抽取任务对于物体检测任务的依赖，提出了一种新颖的关系平滑技术，根据检测到的物体质量自适应地调整关系标签，同时还提出了一个辅助任务 —— 连接性预测任务来预测物体对之间是否存在关系。

    Apr, 2024

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022

  • RepSGG: 场景图生成中的实体和关系的新表示方式

    提出了一种名为 RepSGG 的新型架构，将场景图生成（Scene Graph Generation）中的实体表示为查询，目标表示为键，并将它们之间的关系表示为查询和键之间的最大注意力权重，从而在提取高度代表性的特征方面具有更细粒度和灵活的表达能力。此外，通过在训练期间基于运行时性能进行仿射变换的策略，对关系的逻辑进行了修改，以鼓励主导类和稀有类之间更平衡的性能，实验结果表明，RepSGG 在 Visual Genome 和 Open Images V6 数据集上具有先进或可比较的性能，且推理速度快，证明了所提方法的有效性和高效性。

    Sep, 2023

  • 直接场景图生成的结构稀疏 R-CNN

    本文提出一种名为 结构化稀疏 R-CNN 的框架，该框架从场景图生成（SGG）的角度出发，将其视为直接集合预测。文中使用可学习的三元组查询和结构化三元组检测器，并提出级联体系结构用于渐进地完善检测到的场景图。在多个数据集上进行的实验结果表明，该方法具有最先进的性能。

    Jun, 2021

  • 利用谓词和三元组学习进行场景图生成

    本文提出了一种双粒度关系建模（Dual-granularity Relation Modeling）网络，利用粗粒度和细粒度的三元组线索来促进关系识别，并引入了双粒度知识传递（Dual-granularity Knowledge Transfer）策略来解决长尾问题，实验证明了该方法的有效性。

    Jun, 2024

  • SGTR+：使用 Transformer 进行端到端场景图生成

    通过使用双分图构建方法和终到终的框架，我们提出了一种新的场景图生成方法，有效地解决了组合属性所带来的挑战。实验证明，我们的方法在三个具有挑战性的基准测试中展现出了优秀的表现和高效率的推理能力，超过了现有方法的大部分，达到了最佳性能和时间复杂度。

    Jan, 2024

  • 全景场景图生成

    介绍了一项新的问题任务，即基于全景分割生成全景场景图（PSG）；创建了一个高质量 PSG 数据集用于基准测试，并介绍了四种传统方法的改进和两种基于 Transformer 的单阶段基线；探讨了未来的挑战和发展方向。

    Jul, 2022