CVPRMar, 2022

堆叠式混合注意力和群组协作学习用于无偏场景图生成

PDF
TL;DR本文提出了一种基于 Scene Graph Generation 的方法，使用 Stacked Hybrid-Attention network 作为编码器，Group Collaborative Learning 作为解码器优化策略，实现对视觉语言融合不足、信息不全的问题的提升。
scene graph generationstacked hybrid-attention networkgroup collaborative learningunbiased sggvisual contents
发现论文，激发创造
  • 减少偏差的模型生成场景图

    提出了一种基于自学知识的场景图生成模型训练方案，使用两个关系分类器减少标注偏差和稀疏标注造成的影响，并在多个标准场景图生成任务中观察到了显著的相对改进。

    Aug, 2020

  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023

  • 头尾协作学习网络用于无偏场景图生成

    我们提出了一个模型无关的头尾协作学习（HTCL）网络，旨在解决长尾分布谓词导致的头偏见预测的挑战，通过包括头偏好和尾偏好特征表示分支的协作来实现对头部和尾部谓词的准确识别，并提出了自监督学习方法来提高尾部偏好特征表示分支的预测能力。实验证明，我们的方法在 VG150、Open Images V6 和 GQA200 数据集上取得了更高的平均召回率，并在整体性能上实现了新的最新技术水平。

    Aug, 2023

  • 关系感知传递神经网络实现无偏异构场景图生成

    本文提出了一种无偏差的异构场景图生成（HetSGG）框架，它使用信息传递神经网络捕捉基于谓词类型的上下文信息，包括复杂的对象间相互作用，并且通过关系感知信息传递神经网络（RMP）实现。我们的广泛评估表明，HetSGG 优于最先进的方法，在尾部谓词类上表现尤为出色。

    Dec, 2022

  • 通过去偏向性生成信息场景图

    为解决语义空间层面和样本训练层面的不平衡问题，在场景图生成中提出了一种名为 DB-SGG 的有效框架，通过语义去偏见和平衡谓词学习的组件集成，超过 Transformer 136.3％、119.5％和 122.6％的 mR@20，在三个场景图生成子任务上，应用于 SGG 模型，并在句子到图形检索和图像字幕的两个下游任务上得到验证。

    Aug, 2023

  • 自动编码场景图像生成图像描述

    本文提出了场景图自编码器（SGAE），将语言归纳偏差纳入编码器 - 解码器图像字幕框架，以获得更加人性化的字幕。作者使用场景图将图像和句子的复杂结构布局表示，并使用共享字典将感性偏差在视觉语言领域之间传递。实验结果表明，在 MS-COCO 图像字幕基准测试中，基于 SGAE 的单一模型在 Karpathy 分割上取得了新的最高 CIDEr-D 值 127.8，在官方服务器上与其他集成模型相比也获得了 125.5 的竞争 CIDEr-D 值（c40）

    Dec, 2018

  • 具有组内语义的知识增强注意力网络用于视觉叙事

    提出了一种基于知识增强的注意力网络，采用分组语义模型，能够生成比现有方法更合理和流畅的多模态视觉叙事，并在客观和主观评估指标上显示出优越性能。

    Mar, 2022

  • HiKER-SGG：分层知识增强鲁棒场景图生成

    本研究提出了一种新的 SGG 基准测试方法，包括过程生成的天气损坏和其它转换，提出了一种称为 HiKER-SGG 的方法，利用层次化知识图对场景图生成进行精化预测，并在苛刻环境下展示了卓越的性能。

    Mar, 2024

  • SelfGraphVQA：基于自监督图神经网络的基于场景的问题回答

    通过使用预训练场景图生成器从图像中提取场景图，并应用语义保持增强和自监督技术，我们引入了 SelfGraphVQA 框架，改进了图表示在视觉问答任务中的利用，从而避免昂贵和潜在有偏的注释数据，并通过图像增强创建提取图的多个视图，通过优化它们表示中的信息内容来学习联合嵌入。我们实验并证明了提取的场景图对于视觉问答非常有效，并且通过强调视觉信息的重要性来提升整体性能，为依赖场景图进行复杂推理问题的视觉问答任务提供了更实用的解决方案。

    Oct, 2023