Jun, 2023

多标签元加权长尾动态场景图生成

PDF
TL;DR本文研究了视频场景图生成中主题和对象之间语义关系的问题，提出了一种多标签元学习框架以处理偏斜的谓词分布，改进了现有方法并在 Action Genome 和 VidOR 基准测试中表现优异。
scene graph generationsemantic relationspredicate frequencylong-tailed distributionsmeta-learning framework
发现论文，激发创造
  • 从场景学习，向富裕借鉴：解决场景图生成中的长尾问题

    本文是关于使用加性关注机制学习场景中的特定知识以及长尾知识传递来解决场景图生成中对象关系长尾分布问题。在 Visual Genome 数据集上的实验结果表明，该方法优于现有的最先进方法。

    Jun, 2020

  • 动态场景图生成的本地 - 全局信息交互解偏差

    提出了一种基于多任务学习的新型动态场景图生成模型，该模型结合了局部交互信息和全局人物行为交互信息，通过对象和帧特征之间的交互使模型更全面地理解单幅图像的视觉环境，并使用长时人体动作监督模型生成符合全局约束条件且避免不能学习尾谓词的多个场景图。实验证明了该框架的功效，不仅改善了动态场景图生成，还缓解了长尾问题。

    Aug, 2023

  • PCPL: 面向无偏场景图生成的谓词 - 相关感知学习

    介绍了针对场景图生成任务中的类别不平衡问题，提出了一种基于谓语相关性感知的学习方案，并通过图编码器进一步提取上下文特征以提高模型性能。实验证明，该方法在处理长尾分布时具有更好的表现。

    Sep, 2020

  • 基于解释的弱监督学习在视觉关系中的应用：图网络

    该论文提出了一种新型的弱监督方法，使用最少的图像级谓词标签，利用图神经网络从检测到的对象的图形表示中对图像中的谓词进行分类，将关系检测作为谓词分类器的解释，并在三个不同且具有挑战性的数据集上展示结果，表明该方法具有对不全面注释的强健性和良好的少样本泛化能力。

    Jun, 2020

  • 利用谓词和三元组学习进行场景图生成

    本文提出了一种双粒度关系建模（Dual-granularity Relation Modeling）网络，利用粗粒度和细粒度的三元组线索来促进关系识别，并引入了双粒度知识传递（Dual-granularity Knowledge Transfer）策略来解决长尾问题，实验证明了该方法的有效性。

    Jun, 2024

  • 视频场景图生成的元空间时偏差校正

    本研究提出了一种基于元学习的 Meta Video Scene Graph Generation (MVSGG) 框架，用于从支持集和若干查询集中构建训练数据并通过元训练和测试过程指导模型学习以针对空间时间条件偏差进行泛化，以提高视频场景图生成的泛化性能。

    Jul, 2022

  • 基于分层记忆学习的场景图精细化生成

    本文提出了一种新的层次记忆学习框架来解决场景图生成中的混合粗细粒度和长尾问题，通过加入概念重构和模型重构约束，将模型从简单到复杂地训练，有效提高了其在视觉基因组等数据集上的预测精度。

    Mar, 2022

  • 用语义原型学习生成全景场景图

    通过 ADTrans 框架，将偏倚的谓词注释自适应性地转化为信息丰富且统一的注释，从而显著提高基准模型的性能，并在多个数据集上展现出了良好的泛化能力和有效性。

    Jul, 2023

  • 基于三元相关性引导的无偏视频场景图生成的标签补充

    我们提出了一种名为 Trico 的方法，通过探索三种互补的时空相关性来补充缺失的谓词，从而实现了无偏谓词预测，并验证了 Trico 在 VidVRD 和 VidOR 等广泛使用的 VidSGG 数据集上的卓越性能，特别是在那些尾部谓词上。

    Jul, 2023

  • 元图：元学习的少样本链接预测

    本文提出了一种基于元学习的 Meta-Graph 框架，该框架使用高阶梯度以及一个条件生成图神经网络初始化的学习图签名函数，可以在少量训练数据的情况下快速适应新图，并在收敛时获得更好的结果。

    Dec, 2019