Jul, 2021

图像场景图生成（SGG）基准测试

PDF
TL;DR本研究发展了基于 maskrcnn-benchmark 和多个流行模型的场景图像生成基准测试，并通过 Visual Genome 和 OpenImages 视觉关系检测数据集的全面研究来评估场景图像生成模型的主要特性，从而为完善图像理解模型提供了可能。
发现论文，激发创造
  • 实时场景图生成

    我们提出了一种使用 YOLOV8 作为目标检测骨干网络的实时场景图生成方法，该方法在任务中首次实现超过 48 FPS 的速度，且没有准确度损失，成功胜过任何其他轻量级方法。

    May, 2024

  • 场景图生成指标的综述与高效实现

    本文提供了对场景图生成模型常用评价指标的细致定义和全面回顾，并介绍了一个名为 SGBench 的独立 Python 包，该包高效实现了所有定义的评价指标，以确保研究社区的可访问性，并展示了一个场景图基准测试网络服务，使研究人员能够比较场景图生成方法并集中展示新方法。

    Apr, 2024

  • 图像语义关系生成

    为解决场景图构建的大量人工成本，提出了一种基于图像语义关系生成的简单有效的图像到文本模型（ISRG），该模型通过将场景图任务分解为两个子任务，即图像分割任务和限制性自回归文本生成任务，极大地降低了场景图的构建成本。在 OpenPSG 数据集上，该模型获得了 31 分，相应地优于强基线 ResNet-50 和 CLIP 16 点和 5 点。

    Oct, 2022

  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024

  • 场景图生成可解释模型

    提出了一种高效且可解释的场景图生成器，考虑了视觉、空间和语义三种特征并使用了后期融合策略，模型在 OpenImages 可视关系检测竞赛中表现优越，得分比第二名高出 5%（相对增长率 20%），该生成器是实现基于视觉语言任务如图像字幕和视觉问答的重要基石。

    Nov, 2018

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 从场景图生成图像

    提出了一种利用场景图生成图像的模型，其中包括图形卷积来处理输入图形、预测对象的边界框和分割掩模来计算场景布局，并使用级联细化网络将布局转换为图像，训练对抗鉴别器来确保生成的图像具有逼真度。

    Apr, 2018

  • HiKER-SGG：分层知识增强鲁棒场景图生成

    本研究提出了一种新的 SGG 基准测试方法，包括过程生成的天气损坏和其它转换，提出了一种称为 HiKER-SGG 的方法，利用层次化知识图对场景图生成进行精化预测，并在苛刻环境下展示了卓越的性能。

    Mar, 2024

  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020