Apr, 2024

场景图生成指标的综述与高效实现

PDF
TL;DR本文提供了对场景图生成模型常用评价指标的细致定义和全面回顾，并介绍了一个名为 SGBench 的独立 Python 包，该包高效实现了所有定义的评价指标，以确保研究社区的可访问性，并展示了一个场景图基准测试网络服务，使研究人员能够比较场景图生成方法并集中展示新方法。
scene graph generationmetricsprecise definitionsgbenchbenchmarking web service
发现论文，激发创造
  • 图像场景图生成（SGG）基准测试

    本研究发展了基于 maskrcnn-benchmark 和多个流行模型的场景图像生成基准测试，并通过 Visual Genome 和 OpenImages 视觉关系检测数据集的全面研究来评估场景图像生成模型的主要特性，从而为完善图像理解模型提供了可能。

    Jul, 2021

  • 图生成模型的评价指标

    通过引入基于未训练随机 GNN 提取的特征的几个度量标准，完全测试了这些度量标准衡量生成的图的多样性和保真度的能力、其样本和计算效率，并推荐了两种新的度量标准，以用于对 GGM 的评估。

    Jan, 2022

  • 场景图的全面调查：生成与应用

    本文对当前场景图研究进行了全面的调查，总结了场景图的定义、生成方法、应用及现有数据集，并对未来发展提出了一些见解。

    Mar, 2021

  • 用于布局组合和补丁检索的简洁场景图

    提出了两种改进场景结构表示法的方法，通过启发式关系和极端点表示法，显著提高相关分数测量方法的性能，并演示了如何使用场景图检索与源查询语义相似的姿态约束图像块，这是实现逼真图像生成的重要一步。

    Apr, 2019

  • 场景图生成可解释模型

    提出了一种高效且可解释的场景图生成器，考虑了视觉、空间和语义三种特征并使用了后期融合策略，模型在 OpenImages 可视关系检测竞赛中表现优越，得分比第二名高出 5%（相对增长率 20%），该生成器是实现基于视觉语言任务如图像字幕和视觉问答的重要基石。

    Nov, 2018

  • 基准测试场景背景初始化

    为实现对场景背景的初始化，本文收集了一份常用于初始化背景的数据集，并选择或创建了一组基准数据进行定量评估，以此来比较现有方法的性能表现。

    Jun, 2015

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024

  • 使用场景图进行视觉关系检测：一项调查

    本文为场景图生成的详细调查报告，主要讨论了场景图生成的各种技术、它们的有效性以及场景图在视觉关系理解和其他任务中的应用，同时分析了未来发展的方向。

    May, 2020

  • 场景图生成中用于新组合的图密度感知损失

    本研究提出一种在场景图生成任务中能够处理零样本和小样本情况的密度归一化边缘损失函数，并且介绍了新的加权评估指标来提高模型性能。

    May, 2020

  • 实时场景图生成

    我们提出了一种使用 YOLOV8 作为目标检测骨干网络的实时场景图生成方法，该方法在任务中首次实现超过 48 FPS 的速度，且没有准确度损失，成功胜过任何其他轻量级方法。

    May, 2024