AAAIJan, 2022

使用先验偏差的抗阻力训练：朝着无偏的场景图生成

PDF
TL;DR本研究提出了一种基于分布式先验偏差的坚韧训练方法 (RTPB) 用于解决目前场景图生成中训练数据分布的长尾问题，并通过验证实验在 VG150 数据集上表明了其有效性和性能提升。另外，我们还设计了一种称为 Dual Transformer (DTrans) 的上下文编码骨干网络，进一步探测对象和关系的上下文信息，含有 RTPB 的 DTrans 方法性能较之现有首屈一指的方法都有很大的提升。
scene graph generationresistance trainingprior biasdual transformervg150
发现论文，激发创造
  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023

  • 通过去偏向性生成信息场景图

    为解决语义空间层面和样本训练层面的不平衡问题，在场景图生成中提出了一种名为 DB-SGG 的有效框架，通过语义去偏见和平衡谓词学习的组件集成，超过 Transformer 136.3％、119.5％和 122.6％的 mR@20，在三个场景图生成子任务上，应用于 SGG 模型，并在句子到图形检索和图像字幕的两个下游任务上得到验证。

    Aug, 2023

  • 场景图的概率去偏置

    该研究针对场景图模型中长尾关系及其父对象的质量问题，提出了一种采用嵌入式增强的三元组贝叶斯网络来保护关系标签的条件分布并消除由关系概率边际引起的偏差的方法，此方法在两个不同的数据集上对比现有技术实现了较好的平衡。

    Nov, 2022

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020

  • 基于上下文的迁移学习和高效迭代学习用于无偏场景图生成

    CITrans 是一种逐步增强数据训练的插拔式方法，使用上下文限制的转移和高效迭代学习来解决不平衡的预测问题，达到了与最先进结果相媲美的效果，并且具有高效性。

    Dec, 2023

  • 从整体到特定：通过平衡调整进行信息化场景图生成

    本研究提出了一种基于平衡调整的场景图生成框架 ——BA-SGG，该框架通过语义平衡调整和平衡谓词学习两个组件分别对信息谓词和常见谓词之间的两种不平衡进行调整，有效提高场景图生成的性能。在 Visual Genome 数据集中，与变压器模型相比，我们的方法在三个子任务中的平均回收率分别提高了 14.3％，8.0％和 6.1％。

    Aug, 2021

  • 从有偏的场景图中恢复无偏的场景图

    本文提出一种基于 PU 学习和动态标签频率估计的方法，通过有效利用标签频率从而解决场景图生成中的长尾问题和报告偏差，实现更准确的标签估计和更平衡的场景图生成。

    Jul, 2021

  • 关系感知传递神经网络实现无偏异构场景图生成

    本文提出了一种无偏差的异构场景图生成（HetSGG）框架，它使用信息传递神经网络捕捉基于谓词类型的上下文信息，包括复杂的对象间相互作用，并且通过关系感知信息传递神经网络（RMP）实现。我们的广泛评估表明，HetSGG 优于最先进的方法，在尾部谓词类上表现尤为出色。

    Dec, 2022