SGTR+：使用 Transformer 进行端到端场景图生成

Jan, 2024

SGTR+：使用 Transformer 进行端到端场景图生成

SGTR+: End-to-end Scene Graph Generation with Transformer

Rongjie Li, Songyang Zhang, Xuming He

TL;DR通过使用双分图构建方法和终到终的框架，我们提出了一种新的场景图生成方法，有效地解决了组合属性所带来的挑战。实验证明，我们的方法在三个具有挑战性的基准测试中展现出了优秀的表现和高效率的推理能力，超过了现有方法的大部分，达到了最佳性能和时间复杂度。

Abstract

scene graph generation (SGG) remains a challenging visual understanding task due to its compositional property. Most previous works adopt a bottom-up, two-stage or point-based, one-stage approach, which often suffers from high time complexity or suboptimal designs. In this work, we pro

scene graph generation bipartite graph construction end-to-end framework entity-aware modeling graph assembling

发现论文，激发创造

SGTR：基于 Transformer 的端到端场景图生成

提出了一种基于 Transformer 的端到端框架，利用结构化谓语生成器开发了一种新的实体感知的谓语表示方法，设计了图组装模块以推断适应性的进行双部分场景图形的构建，并在两个具有挑战性的基准测试中取得了最先进或可比的性能，并提高了推理效率。

Dec, 2021

数据传输细粒度场景图生成

本文提出了一种新颖的内外数据传输（ IETrans ）方法来解决场景图生成的两个数据分布问题，即长尾分布和语义歧义。通过自动创建增强的数据集，该方法为所有谓词提供了更充分和连贯的注释，从而可应用于大规模带有 1,807 个谓词类的 SGG。最终，通过在增强的数据集上训练，使用神经因子模型可以在保持竞争性宏性能的同时，使得宏性能翻倍。

Mar, 2022

DSGG：稠密关系变换器用于端到端场景图生成

本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明，该模型在场景图生成任务上取得了最先进的结果，在 mR@50 和 mR@100 方面分别取得了 3.5％和 6.7％的显著改进，在全景场景图生成任务上甚至取得了 8.5％和 10.3％的更大改进。

Mar, 2024

使用条件查询进行单阶段视觉关系学习

本文提出了 TraCQ, 一种新的基于 Transformers 和带有条件查询的 SGG 模型，绕开多任务学习问题和组合实体配对分布，并且在使用 Visual Genome 数据集的实验中优于目前单阶段 SCG 方法和许多双阶段方法，且具有端到端的训练和更快的推理。

Jun, 2023

弱监督视觉语义解析

本文提出了一个广义的场景图生成模型 —— 视觉语义解析，并基于动态、注意力机制的二分图传递框架设计了关注于图节点和边的视觉语义解析网络 (VSPNet)，同时通过一种全新的图对齐算法，建立了第一个基于图的弱监督学习框架。大量实验证明 VSPNet 优于弱监督基准，而且速度是基准的数倍，因此是训练时效和性能平衡的一个不错的选择。

Jan, 2020

利用边缘定向推理进行基于三维点的场景图分析

通过三个连续的阶段，构建场景图、推理和推断，我们提出了一种三维基于点的场景图生成（SGG_point）框架，在推理阶段创建了一种面向边缘的图卷积网络（EdgeGCN），以利用多维边缘特征进行显式关系建模，同时探索了节点和边缘之间的两种相关的孪生交互机制，以独立演化场景图表示。

Mar, 2021

基于边双场景图和消息传递神经网络的语义场景图生成

通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

Nov, 2023

RepSGG: 场景图生成中的实体和关系的新表示方式

提出了一种名为 RepSGG 的新型架构，将场景图生成（Scene Graph Generation）中的实体表示为查询，目标表示为键，并将它们之间的关系表示为查询和键之间的最大注意力权重，从而在提取高度代表性的特征方面具有更细粒度和灵活的表达能力。此外，通过在训练期间基于运行时性能进行仿射变换的策略，对关系的逻辑进行了修改，以鼓励主导类和稀有类之间更平衡的性能，实验结果表明，RepSGG 在 Visual Genome 和 Open Images V6 数据集上具有先进或可比较的性能，且推理速度快，证明了所提方法的有效性和高效性。

Sep, 2023

实时场景图生成

我们提出了一种使用 YOLOV8 作为目标检测骨干网络的实时场景图生成方法，该方法在任务中首次实现超过 48 FPS 的速度，且没有准确度损失，成功胜过任何其他轻量级方法。

May, 2024

减少偏差的模型生成场景图

提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

Aug, 2020