IJCAISep, 2020

CogTree: 无偏见场景图生成的认知树损失

PDF
TL;DR本研究从认知角度研究解决 Scene Graph Generation 领域中偏差数据的问题，提出了一种新的解决方案 —— 建立一种基于偏差预测结果的层次认知结构，通过对结构进行模糊到精细的遍历，实现关注尾部关系的目的。该方案使用 CogTree loss 作为 Debiasing loss，可用于现有多种主流模型的性能优化。
scene graph generationbiased datacognition treedebiasing losshierarchical cognitive structure
发现论文，激发创造
  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • 通过去偏向性生成信息场景图

    为解决语义空间层面和样本训练层面的不平衡问题，在场景图生成中提出了一种名为 DB-SGG 的有效框架，通过语义去偏见和平衡谓词学习的组件集成，超过 Transformer 136.3％、119.5％和 122.6％的 mR@20，在三个场景图生成子任务上，应用于 SGG 模型，并在句子到图形检索和图像字幕的两个下游任务上得到验证。

    Aug, 2023

  • 通过两阶段因果建模实现无偏场景图生成

    本文提出了一种使用因果推理的场景图生成任务去偏置化的方法，其中包含两个阶段的因果建模，第一阶段是因果表示学习，第二阶段是自适应逻辑调整，实验结果表明该方法可以在头尾关系之间实现更好的平衡，达到最先进的性能表现。

    Jul, 2023

  • 物体关系预测的逻辑偏差学习

    通过因果推断进行对象关系预测的场景图生成方法，结合对象增强模块，在 Visual Gnome 150 数据集上取得了有效的实验结果，为决策模型的基础建模提供了巨大潜力。

    Oct, 2023

  • 视频中无偏场景图生成的相关性去偏

    FloCoDe 通过使用流进行特征扭曲以检测帧间时间一致的对象，并使用相关性去偏学习长尾类别的无偏关系表示，通过混合 sigmoid 交叉熵损失和对比损失以缓解预测不确定性，实现生成更加无偏的场景图，性能提升高达 4.1%。

    Oct, 2023

  • 头尾协作学习网络用于无偏场景图生成

    我们提出了一个模型无关的头尾协作学习（HTCL）网络，旨在解决长尾分布谓词导致的头偏见预测的挑战，通过包括头偏好和尾偏好特征表示分支的协作来实现对头部和尾部谓词的准确识别，并提出了自监督学习方法来提高尾部偏好特征表示分支的预测能力。实验证明，我们的方法在 VG150、Open Images V6 和 GQA200 数据集上取得了更高的平均召回率，并在整体性能上实现了新的最新技术水平。

    Aug, 2023

  • 基于上下文的迁移学习和高效迭代学习用于无偏场景图生成

    CITrans 是一种逐步增强数据训练的插拔式方法，使用上下文限制的转移和高效迭代学习来解决不平衡的预测问题，达到了与最先进结果相媲美的效果，并且具有高效性。

    Dec, 2023

  • 广义无偏场景图生成

    现有的无偏场景图生成方法只关注高频类占据稀有类预测的谓词级不平衡，而忽视了概念级别的不平衡。因此，我们提出了一个新的研究问题：广义无偏场景图生成（G-USGG），它考虑了谓词级和概念级的不平衡。为了解决这个问题，我们引入了多概念学习（MCL）框架，通过多个概念原型在同一类中表示不同数量的概念来量化谓词之间的概念级不平衡，并通过概念正则化（CR）技术有效地学习概念原型。此外，为了实现对不同概念的平衡学习，我们引入了平衡原型记忆（BPM），指导 SGG 模型生成平衡的概念原型表示。广泛的实验证明了我们的模型无关策略在提高 VG-SGG 和 OI-SGG 数据集上基准模型性能方面的显著有效性，取得了谓词级无偏关系识别和概念级组合生成两个关键方面的最新成就。

    Aug, 2023

  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023

  • 从有偏的场景图中恢复无偏的场景图

    本文提出一种基于 PU 学习和动态标签频率估计的方法，通过有效利用标签频率从而解决场景图生成中的长尾问题和报告偏差，实现更准确的标签估计和更平衡的场景图生成。

    Jul, 2021