Jan, 2024

面向终身场景图生成的知识感知上下文提示学习

PDF
TL;DR基于在预训练语言模型中环境背景学习的成就，本论文提出了一种新颖实用的场景图生成框架，名为终身场景图生成（LSGG），在其中任务如谓词以流式方式展开。严格实验表明，我们提出的方法在 LSGG 方面在各种度量标准上优于现有方法。此外，在两个主流基准数据集 VG 和 Open-Image (v6) 上的广泛实验显示了我们提出的模型在连续学习和传统设置方面的优势。此外，全面的消融实验证明了我们模型的每个组成部分的有效性。
scene graph generationlifelong scene graph generationvisual relationshipsin-context learningcatastrophic forgetting
发现论文，激发创造
  • 自适应视觉场景理解：增量场景图生成

    通过引入包含三个学习场景和八个评估指标的综合连续场景图生成（CSEGG）数据集，研究深入探索现有的 SGG 方法在学习新对象时对先前对象实体和关系的保留情况，以及连续目标检测如何增强对未知对象上已知关系的泛化性能。

    Oct, 2023

  • 通过大型语言模型进行弱监督下的细粒度场景图生成

    通过利用大型语言模型和链式思维及上下文少样本学习策略，我们提出了一种新方法：用于弱监督场景图生成的大型语言模型，可以从图片标题中提取三元组并与目标数据的实体 / 谓词类对齐，有效地解决语义过度简化和低密度场景图的问题，实验证明该方法在 Recall@K 和平均 Recall@K 上相较于现有的弱监督场景图生成方法具有显著的提升，且能够以少量的训练图片进行有效的模型训练。

    Oct, 2023

  • 从像素到图形：利用视觉语言模型进行开放式场景图生成

    基于序列生成的新型开放词汇的场景图生成框架，通过使用视觉语言预训练模型和显式关系建模知识，实现了优质性能的开放词汇感知场景图生成和增强下游视觉语言任务的目的。

    Apr, 2024

  • 面向环境无关的复杂场景图生成的课程关系学习

    通过构建不同分布环境来平衡主 - 客体对的不平衡，并采用课程学习策略平衡不同环境，我们提出了一种新颖的环境不变课程关系学习方法，可应用于现有的场景图生成方法，实验证明该方法实现了重要的改进。

    Aug, 2023

  • 具有共现知识和可学习的术语频率的场景图生成策略

    通过引入 Co-occurrence Knowledge 以及可学习的 TF-l-IDF，我们提出了一种用于场景图生成的模型（CooK），该模型在 SGG 基准数据集中取得了高达 3.8% 的性能提升，对于所有 MPNN 模型表现出了一致的性能改善。

    May, 2024

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 面向未知三元组：用于场景图生成的有效文本 - 图像联合学习

    本文提出了一种 Text-Image 结合的场景图生成 (TISGG) 模型，采用联合特征学习模块和基于事实知识的精细调整模块来解决 SGG 模型中的长尾问题和无法识别的三元组问题，同时设计了平衡的学习策略。实验表明，在 Visual Genome 数据集上，TISGG 模型的预测性能相比一般的 SGG 模型提升了 11.7% 的 zero-shot recall。

    Jun, 2023

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 动态场景图生成的本地 - 全局信息交互解偏差

    提出了一种基于多任务学习的新型动态场景图生成模型，该模型结合了局部交互信息和全局人物行为交互信息，通过对象和帧特征之间的交互使模型更全面地理解单幅图像的视觉环境，并使用长时人体动作监督模型生成符合全局约束条件且避免不能学习尾谓词的多个场景图。实验证明了该框架的功效，不仅改善了动态场景图生成，还缓解了长尾问题。

    Aug, 2023

  • LANDMARK: 基于语言引导的场景图生成表示增强框架

    提出了一种基于语言引导的表示增强框架（LANDMARK），通过语言 - 视觉交互式模式、全局语言语境和对称谓相关性等方面学习谓词相关表示，从而在场景图生成领域中提高了性能和可兼容性。

    Mar, 2023