Oct, 2023

通过大型语言模型进行弱监督下的细粒度场景图生成

PDF
TL;DR通过利用大型语言模型和链式思维及上下文少样本学习策略，我们提出了一种新方法：用于弱监督场景图生成的大型语言模型，可以从图片标题中提取三元组并与目标数据的实体 / 谓词类对齐，有效地解决语义过度简化和低密度场景图的问题，实验证明该方法在 Recall@K 和平均 Recall@K 上相较于现有的弱监督场景图生成方法具有显著的提升，且能够以少量的训练图片进行有效的模型训练。
weakly-supervised scene graph generationimage captionssemantic over-simplificationlow-density scene graphlarge language model for weakly-supervised sgg
发现论文，激发创造
  • 从整体和特定区域叙述中综合合成场景图的 GPT4SGG

    从自然语言描述中学习场景图已被证明是生成场景图的一种廉价且有前途的方法。为了解决从非结构化标题数据中提取有意义的关系三元组、从解析过的三元组中定位未定位对象的模糊问题以及标题数据的稀疏性和偏向性等问题，我们提出了一个简单而有效的框架 GPT4SGG，通过综合和区域特定的叙述来合成场景图，从而显著提高了在图像 - 标题数据上训练的 SGG 模型的性能。我们相信这项开创性的工作可以激发进一步研究语言模型的视觉推理能力。

    Dec, 2023

  • 弱监督视觉语义解析

    本文提出了一个广义的场景图生成模型 —— 视觉语义解析，并基于动态、注意力机制的二分图传递框架设计了关注于图节点和边的视觉语义解析网络 (VSPNet)，同时通过一种全新的图对齐算法，建立了第一个基于图的弱监督学习框架。大量实验证明 VSPNet 优于弱监督基准，而且速度是基准的数倍，因此是训练时效和性能平衡的一个不错的选择。

    Jan, 2020

  • 面向终身场景图生成的知识感知上下文提示学习

    基于在预训练语言模型中环境背景学习的成就，本论文提出了一种新颖实用的场景图生成框架，名为终身场景图生成（LSGG），在其中任务如谓词以流式方式展开。严格实验表明，我们提出的方法在 LSGG 方面在各种度量标准上优于现有方法。此外，在两个主流基准数据集 VG 和 Open-Image (v6) 上的广泛实验显示了我们提出的模型在连续学习和传统设置方面的优势。此外，全面的消融实验证明了我们模型的每个组成部分的有效性。

    Jan, 2024

  • 细粒度场景图生成的自适应自训练框架

    通过利用未标注的三元组，本研究介绍了一种自我训练框架（ST-SGG），以缓解场景图生成模型在长尾问题上的困扰。同时提出了一种适用于任何现有场景图生成模型的称为 Class-specific Adaptive Thresholding with Momentum（CATM）的新型伪标记技术，并设计了一个对基于消息传递神经网络（MPNN）的场景图生成模型具有益处的图结构学习器（GSL）。实验验证了 ST-SGG 在各种场景图生成模型中的有效性，特别是在细粒度谓词类的性能提升方面。

    Jan, 2024

  • 面向未知三元组：用于场景图生成的有效文本 - 图像联合学习

    本文提出了一种 Text-Image 结合的场景图生成 (TISGG) 模型，采用联合特征学习模块和基于事实知识的精细调整模块来解决 SGG 模型中的长尾问题和无法识别的三元组问题，同时设计了平衡的学习策略。实验表明，在 Visual Genome 数据集上，TISGG 模型的预测性能相比一般的 SGG 模型提升了 11.7% 的 zero-shot recall。

    Jun, 2023

  • 使用虚词去偏以提升视觉 - 语言模型中的场景图生成

    通过使用预训练的视觉 - 语言模型（VLMs）增强场景图生成（SGG）模型的表示，并结合语言模型估计（LM Estimation）来解决预训练与 SGG 之间的差距，我们的方法有效地处理了词汇偏见，加强了 SGG 的表示，并获得了显著的性能提升。

    Mar, 2024

  • 知识图谱推理的弱监督语义分割

    这篇论文介绍了一种基于图推理的方法来提高弱监督语义分割技术，该方法同时增强了多标签分类和分割网络阶段，并融合了外部知识和图卷积网络来全局推理跨类别依赖关系，以改善生成伪标签的完整性，并应用图推理映射模块加强高级语义的特征表示，动态学习个别样本的语义一致性，取得了在 PASCAL VOC 2012 和 MS-COCO 数据集上的最新性能。

    Sep, 2023

  • 语言结构作为视觉场景图生成的弱监督

    本文研究了在场景图生成中如何利用语言结构以及图像标题，通过弱化的监督模式提高模型性能，相比起传统的三元组监督模式，更具伸缩性且更适用于多模态数据。

    May, 2021

  • LANDMARK: 基于语言引导的场景图生成表示增强框架

    提出了一种基于语言引导的表示增强框架（LANDMARK），通过语言 - 视觉交互式模式、全局语言语境和对称谓相关性等方面学习谓词相关表示，从而在场景图生成领域中提高了性能和可兼容性。

    Mar, 2023

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024