ICCVSep, 2021

从自然语言监督中学习生成场景图

PDF
TL;DR本文提出了一种通过图像 - 句子对学习的方法，以提取图像中本地化对象及其关系的图形表示，即场景图，其中利用了现成的对象检测器来识别和定位对象实例，并通过掩码标记预测任务预测伪标签以学习场景图。通过学习图像 - 句子对，我们的模型相较于使用人工注释的非定位场景图训练的最新方法获得了 30％的相对增益。同时，在弱监督和全监督场景图生成方面，我们的模型也展现了出色的结果，我们还探究了用于检测场景图的开放词汇设置，并呈现了首个开放式场景图生成的结果。
image-sentence pairsscene graphobject detectiontransformer-based modelopen-set scene graph generation
发现论文，激发创造
  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018

  • 通过场景图对齐进行非配对图片描述

    本研究提出了一种基于场景图的方法来进行非配对图像描述，用于生成不需要图像 - 文字配对的结果，显著超过现有方法的表现。

    Mar, 2019

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019

  • 使用场景图实现交互式图像生成

    本文提出了一种基于场景图的递增式图像生成模型，该模型通过使用递归神经网络、图卷积网络以及生成对抗网络来生成逼真的多对象图像，实验结果表明其在生成逐步增长场景图的情况下比其他方法更优。

    May, 2019

  • 场景图是否足够好以改进图像字幕？

    本文探讨了使用场景图在图像字幕生成中的应用，研究表明添加场景图编码器可以提高字幕描述效果，提出了一种 C-GAT 模型，该模型条件化图更新功能，使用高质量的场景图可与现有的底部 - 顶部基准模型相比获得 3.3 CIDEr 改进。

    Sep, 2020

  • 为图像字幕生成辩护：场景图的重要性

    提出了 SG2Caps 框架，该框架利用场景图标签进行图像说明，以避免昂贵的图形卷积。 该框架利用空间位置和 HOI 标签作为附加的 HOI 图，实现了更好的性能。

    Feb, 2021

  • 图像 - 文本 - 图形空间粗糙到精细对比学习，旨在提高视觉语言组合能力

    通过构建图像场景的文本表示形式，提出了一种图形分解和增强框架以进行对比学习，同时提出了一种用于改善 scene graph 空间中属性绑定和关系理解的负样本挖掘技术，通过大量实验证明了该方法的有效性。

    May, 2023

  • 低资源语言的弱监督场景文本生成

    本文提出了一种基于弱监督学习的场景文本生成方法，通过跨语言生成，将场景文本图片的内容和样式特征分离，并引入整合式注意力模块和预先训练的字体分类器以保证生成图片的完整内容结构以及填补不同语言文本风格之间的差距，实验结果显示，该方法显著提高了场景文本识别精度。

    Jun, 2023

  • 从整体和特定区域叙述中综合合成场景图的 GPT4SGG

    从自然语言描述中学习场景图已被证明是生成场景图的一种廉价且有前途的方法。为了解决从非结构化标题数据中提取有意义的关系三元组、从解析过的三元组中定位未定位对象的模糊问题以及标题数据的稀疏性和偏向性等问题，我们提出了一个简单而有效的框架 GPT4SGG，通过综合和区域特定的叙述来合成场景图，从而显著提高了在图像 - 标题数据上训练的 SGG 模型的性能。我们相信这项开创性的工作可以激发进一步研究语言模型的视觉推理能力。

    Dec, 2023

  • 利用外部知识和图像重建的场景图生成

    本文提出了一种利用外部知识和图像重建损失的新型场景图生成算法，提取外部常识知识以改进场景图的可推广性，并通过在场景图生成网络上引入辅助图像重建路径来解决嘈杂对象注释的偏差问题，全面实验证明我们的框架可以生成更好的场景图，并在 “视觉关系检测” 和 “视觉基因组” 两个基准数据集上实现了最先进的性能。

    Apr, 2019