May, 2020

场景图生成中用于新组合的图密度感知损失

PDF
TL;DR本研究提出一种在场景图生成任务中能够处理零样本和小样本情况的密度归一化边缘损失函数，并且介绍了新的加权评估指标来提高模型性能。
scene graph generationzero-shotfew-shotdensity-normalized edge lossvisual genome
发现论文，激发创造
  • 场景图预测的生成组合增强

    通过使用合成的稀有场景图并基于条件生成对抗网络的模型，可以解决在场景图生成中面临的组合泛化问题，提高新颖组合成分的准确性

    Jul, 2020

  • 粒度太粗糙：一种新的数据中心方法，用于高效生成场景图

    本文提出一项名为 “Efficient SGG” 的任务，旨在优先生成相关关系以及提供一个新的数据集 VG150，以支持在图像生成等下游任务中利用场景图。通过一系列实验，我们证明 VG150 数据集比通常在场景图生成方法中采用的数据集包含更高质量和多样性的注释。

    May, 2023

  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020

  • 使用有限标签进行场景图预测

    本文提出了一种半监督方法，通过很少的带标签的样本分配概率关系标签到大量未标记的图像，生成足够的训练数据来训练任何现有的最先进的场景图模型，该方法在场景图预测方面优于所有基准方法，此外，我们定义了一种关系的复杂度指标，为条件提供指示符。

    Apr, 2019

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • DSGG：稠密关系变换器用于端到端场景图生成

    本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明，该模型在场景图生成任务上取得了最先进的结果，在 mR@50 和 mR@100 方面分别取得了 3.5％和 6.7％的显著改进，在全景场景图生成任务上甚至取得了 8.5％和 10.3％的更大改进。

    Mar, 2024

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 一次性场景图生成

    通过使用图形卷积网络和实例关系转换编码器，利用先前的关系和常识知识，提出一种用于一次性场景图生成任务的多重结构化知识方法，并且在构建的数据集上实现了历史最佳的结果。

    Feb, 2022

  • 场景图解析的图形对比损失

    该研究提出了一组对比损失函数用于处理场景图解析中的实体实例混淆和近距离关系歧义问题，并提出了一种称为 RelDN 的关系检测器，该模型在 OpenImages 关系检测挑战赛中相对前一个胜出方法提升了 4.7％（相对 16.5％），在 Visual Genome 和 Visual Relationship Detection 数据集上的结果也得到了改善。

    Mar, 2019

  • 基于能量学习的场景图生成

    本文介绍了一种基于能量的学习框架，用于生成场景图，允许将场景图的结构有效地纳入输出空间中，通过在学习框架中添加一些约束条件，可以最终提高模型的性能，在视觉基因组和 GQA 基准数据集上的性能提高了 21％和 27％，在零样本和少样本情况下优于现有模型。

    Mar, 2021