通过使用图形卷积网络和实例关系转换编码器，利用先前的关系和常识知识，提出一种用于一次性场景图生成任务的多重结构化知识方法，并且在构建的数据集上实现了历史最佳的结果。

Feb, 2022

本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

Apr, 2019

研究表明，为了改善 VL 模型的结构理解能力，场景图等结构化标注数据虽然耗时、昂贵和繁琐，但只需要小型数据集，就足以使用专用的模型架构和新的训练范式来提高 VL 模型的表现，通过直接使用场景图标签监督图像和文本编码器，以及添加专门的自适应 SG 令牌和新的适应技术来提高 SG 信息的预测。

May, 2023

本文介绍了一种基于能量的学习框架，用于生成场景图，允许将场景图的结构有效地纳入输出空间中，通过在学习框架中添加一些约束条件，可以最终提高模型的性能，在视觉基因组和 GQA 基准数据集上的性能提高了 21％和 27％，在零样本和少样本情况下优于现有模型。

Mar, 2021

通过引入 ZeroG，一种新的框架，我们扩展了这种零样本迁移学习范式到图领域，以实现数据集间的泛化，减少特征不对齐、标签空间不匹配和负迁移等固有挑战，并通过使用语言模型对节点属性和类别语义进行编码，以确保数据集间的一致特征维度，并通过基于提示的子图采样模块丰富提取的子图的语义信息和结构信息，进一步采用轻量级微调策略降低过拟合风险，并保持语言模型的零样本学习能力。结果显示我们的模型在实现显著的跨数据集零样本迁移能力方面非常有效，为图基础模型的发展开辟了新的路径。特别地，ZeroG 作为一种零样本方法，甚至能在 Pubmed 上实现可与半监督学习相媲美的结果。

Feb, 2024

本研究提出了一种结合常识知识的场景图关系预测框架 COACHER，以填补现有场景图生成框架中对未知三元组建模能力的不足，特别是对零样本关系预测的能力，通过在外部常识知识图中建模实体周围的邻域和路径并将其与目前最先进的 SGG 框架结合，进行了广泛的定量评估和定性案例研究，证明了该方法的有效性。

Jul, 2021

论文提出了一种通过获取视觉常识来改善场景图生成模型的鲁棒性的方法，并使用 Transformer 模型结合场景图结构训练了 GLAT 模型，该模型可以纠正明显的错误。通过实验证明，该模型比其他方法更好地学习了视觉常识，并提高了最先进场景图生成模型的准确性。

Jun, 2020

本文提出了一种通过图像 - 句子对学习的方法，以提取图像中本地化对象及其关系的图形表示，即场景图，其中利用了现成的对象检测器来识别和定位对象实例，并通过掩码标记预测任务预测伪标签以学习场景图。通过学习图像 - 句子对，我们的模型相较于使用人工注释的非定位场景图训练的最新方法获得了 30％的相对增益。同时，在弱监督和全监督场景图生成方面，我们的模型也展现了出色的结果，我们还探究了用于检测场景图的开放词汇设置，并呈现了首个开放式场景图生成的结果。

Sep, 2021

通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

Jul, 2020

本文提出了一个用于无条件生成场景图的生成模型 SceneGraphGen，通过层级循环架构直接学习带标签和有向图的概率分布，生成的场景图多样且遵循真实场景的语义模式，同时还证明了生成的图在图像合成、异常检测和场景图完整性方面的应用。

Aug, 2021