提出一种轻量级的一阶场景图生成（SGG）模型，通过充分利用 DETR 解码器的多头自注意力层中学习到的各种关系，使用浅层关系抽取头有效地提取关系图，并考虑到关系抽取任务对于物体检测任务的依赖，提出了一种新颖的关系平滑技术，根据检测到的物体质量自适应地调整关系标签，同时还提出了一个辅助任务 —— 连接性预测任务来预测物体对之间是否存在关系。

Apr, 2024

提出了一种基于 Transformer 的端到端框架，利用结构化谓语生成器开发了一种新的实体感知的谓语表示方法，设计了图组装模块以推断适应性的进行双部分场景图形的构建，并在两个具有挑战性的基准测试中取得了最先进或可比的性能，并提高了推理效率。

Dec, 2021

通过使用双分图构建方法和终到终的框架，我们提出了一种新的场景图生成方法，有效地解决了组合属性所带来的挑战。实验证明，我们的方法在三个具有挑战性的基准测试中展现出了优秀的表现和高效率的推理能力，超过了现有方法的大部分，达到了最佳性能和时间复杂度。

Jan, 2024

本文提出了一种双粒度关系建模（Dual-granularity Relation Modeling）网络，利用粗粒度和细粒度的三元组线索来促进关系识别，并引入了双粒度知识传递（Dual-granularity Knowledge Transfer）策略来解决长尾问题，实验证明了该方法的有效性。

Jun, 2024

本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明，该模型在场景图生成任务上取得了最先进的结果，在 mR@50 和 mR@100 方面分别取得了 3.5％和 6.7％的显著改进，在全景场景图生成任务上甚至取得了 8.5％和 10.3％的更大改进。

Mar, 2024

本文提出了一种新颖的内外数据传输（ IETrans ）方法来解决场景图生成的两个数据分布问题，即长尾分布和语义歧义 。通过自动创建增强的数据集，该方法为所有谓词提供了更充分和连贯的注释，从而可应用于大规模带有 1,807 个谓词类的 SGG。最终，通过在增强的数据集上训练，使用神经因子模型可以在保持竞争性宏性能的同时，使得宏性能翻倍。

Mar, 2022

通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

Oct, 2023

近年来，场景图生成在视觉场景理解任务中受到越来越多的关注。本文提出了一种名为 VETO 的视觉关系变换器，采用新颖的实体关系编码器以捕捉实体的局部级线索，并引入一种名为 MEET 的互斥专家学习策略以消除对头部或尾部类别的偏见，实验结果表明，VETO + MEET 的预测性能比现有技术高出 47 个百分点，并且尺寸缩小了 10 倍。

Aug, 2023

本文提出了一种 Text-Image 结合的场景图生成 (TISGG) 模型，采用联合特征学习模块和基于事实知识的精细调整模块来解决 SGG 模型中的长尾问题和无法识别的三元组问题，同时设计了平衡的学习策略。实验表明，在 Visual Genome 数据集上，TISGG 模型的预测性能相比一般的 SGG 模型提升了 11.7% 的 zero-shot recall。

Jun, 2023

本文提出一种名为 结构化稀疏 R-CNN 的框架，该框架从场景图生成（SGG）的角度出发，将其视为直接集合预测。文中使用可学习的三元组查询和结构化三元组检测器，并提出级联体系结构用于渐进地完善检测到的场景图。在多个数据集上进行的实验结果表明，该方法具有最先进的性能。

Jun, 2021