Aug, 2023

广义无偏场景图生成

PDF
TL;DR现有的无偏场景图生成方法只关注高频类占据稀有类预测的谓词级不平衡，而忽视了概念级别的不平衡。因此，我们提出了一个新的研究问题：广义无偏场景图生成（G-USGG），它考虑了谓词级和概念级的不平衡。为了解决这个问题，我们引入了多概念学习（MCL）框架，通过多个概念原型在同一类中表示不同数量的概念来量化谓词之间的概念级不平衡，并通过概念正则化（CR）技术有效地学习概念原型。此外，为了实现对不同概念的平衡学习，我们引入了平衡原型记忆（BPM），指导 SGG 模型生成平衡的概念原型表示。广泛的实验证明了我们的模型无关策略在提高 VG-SGG 和 OI-SGG 数据集上基准模型性能方面的显著有效性，取得了谓词级无偏关系识别和概念级组合生成两个关键方面的最新成就。
unbiased scene graph generationconcept-level imbalancemulti-concept learningconcept regularizationbalanced prototypical memory
发现论文，激发创造
  • 通过去偏向性生成信息场景图

    为解决语义空间层面和样本训练层面的不平衡问题，在场景图生成中提出了一种名为 DB-SGG 的有效框架，通过语义去偏见和平衡谓词学习的组件集成，超过 Transformer 136.3％、119.5％和 122.6％的 mR@20，在三个场景图生成子任务上，应用于 SGG 模型，并在句子到图形检索和图像字幕的两个下游任务上得到验证。

    Aug, 2023

  • 从整体到特定：通过平衡调整进行信息化场景图生成

    本研究提出了一种基于平衡调整的场景图生成框架 ——BA-SGG，该框架通过语义平衡调整和平衡谓词学习两个组件分别对信息谓词和常见谓词之间的两种不平衡进行调整，有效提高场景图生成的性能。在 Visual Genome 数据集中，与变压器模型相比，我们的方法在三个子任务中的平均回收率分别提高了 14.3％，8.0％和 6.1％。

    Aug, 2021

  • 基于上下文的迁移学习和高效迭代学习用于无偏场景图生成

    CITrans 是一种逐步增强数据训练的插拔式方法，使用上下文限制的转移和高效迭代学习来解决不平衡的预测问题，达到了与最先进结果相媲美的效果，并且具有高效性。

    Dec, 2023

  • 面向环境无关的复杂场景图生成的课程关系学习

    通过构建不同分布环境来平衡主 - 客体对的不平衡，并采用课程学习策略平衡不同环境，我们提出了一种新颖的环境不变课程关系学习方法，可应用于现有的场景图生成方法，实验证明该方法实现了重要的改进。

    Aug, 2023

  • PCPL: 面向无偏场景图生成的谓词 - 相关感知学习

    介绍了针对场景图生成任务中的类别不平衡问题，提出了一种基于谓语相关性感知的学习方案，并通过图编码器进一步提取上下文特征以提高模型性能。实验证明，该方法在处理长尾分布时具有更好的表现。

    Sep, 2020

  • 从有偏的场景图中恢复无偏的场景图

    本文提出一种基于 PU 学习和动态标签频率估计的方法，通过有效利用标签频率从而解决场景图生成中的长尾问题和报告偏差，实现更准确的标签估计和更平衡的场景图生成。

    Jul, 2021

  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • 不偏场景图生成的偏斜类平衡重新加权

    提出一种名为 Skew Class-balanced Re-weighting（SCR）的无偏场景图生成（SGG）算法，以考虑长尾分布造成的无偏谓词预测，并使用 SCR 损失函数来更好地权衡大多数和少数谓词表现，通过在标准视觉基因组数据集和 Open Image V4&V6 上进行广泛实验，证明了 SCR 在传统 SGG 模型上的优异表现和普适性。

    Jan, 2023

  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020

  • 通过大型语言模型进行弱监督下的细粒度场景图生成

    通过利用大型语言模型和链式思维及上下文少样本学习策略，我们提出了一种新方法：用于弱监督场景图生成的大型语言模型，可以从图片标题中提取三元组并与目标数据的实体 / 谓词类对齐，有效地解决语义过度简化和低密度场景图的问题，实验证明该方法在 Recall@K 和平均 Recall@K 上相较于现有的弱监督场景图生成方法具有显著的提升，且能够以少量的训练图片进行有效的模型训练。

    Oct, 2023