AAAIJan, 2024

TD^2-Net：面向动态场景图生成的降噪和去偏方法

PDF
TL;DR本文介绍了一种名为 TD$^2$-Net 的网络，旨在进行动态场景图生成时的去噪和去偏执。该网络通过设计可微分的 Top-K 对象选择器来增强对象表示，以及引入不对称重新加权损失函数来缓解标签偏差问题。在行动基因组数据库上的系统性实验结果表明，我们提出的 TD$^2$-Net 相对于现有最先进的方法在谓词分类的均值召回率 @10 上超过最优竞争对手 12.7%。
dynamic scene graph generationdenoisingdebiasingspatio-temporal transformer moduleasymmetrical reweighting loss
发现论文，激发创造
  • 视频中无偏场景图生成

    该研究提出了一个名为 TEMPURA 的框架，通过基于 Transformer 的序列建模，学习合成无偏差的关系表示，并使用高斯混合模型来减少视觉关系的预测不确定性，从而解决视频动态场景的场景图生成中存在的多种问题。该方法在生成更加无偏的场景图方面具有显著的优势。

    Apr, 2023

  • D2-Net: 通过判别嵌入和去噪激活进行弱监督行动定位

    本文提出了一种名为 D2-Net 的弱监督时间动作本地化框架，其尝试使用视频级监督来对动作进行时间定位。其中，我们的创新主要体现在引入了一个新的损失函数，该函数通过联合增强潜在嵌入的可区分性和输出时间类别激活的鲁棒性，从而应对弱监督引起的前景背景噪声。通过综合多个基准测试数据，包括 THUMOS14 和 ActivityNet1.2，我们的 D2-Net 方法在所有数据集上表现良好，其 mAP 在 IoU = 0.5 时可以达到 2.3% 的提高。

    Dec, 2020

  • 动态场景图生成的本地 - 全局信息交互解偏差

    提出了一种基于多任务学习的新型动态场景图生成模型，该模型结合了局部交互信息和全局人物行为交互信息，通过对象和帧特征之间的交互使模型更全面地理解单幅图像的视觉环境，并使用长时人体动作监督模型生成符合全局约束条件且避免不能学习尾谓词的多个场景图。实验证明了该框架的功效，不仅改善了动态场景图生成，还缓解了长尾问题。

    Aug, 2023

  • 从有偏训练数据中生成无偏场景图

    本文通过因果推断方法构建了一个场景图生成的因果图，并通过传统偏差训练和反事实因果关系推断方法去除其不良偏差，最终提出了一个基于 Total Direct Effect 的无偏差 SGG 框架。

    Feb, 2020

  • DSGG：稠密关系变换器用于端到端场景图生成

    本文介绍了一种新的基于 Transformer 的方法，称为 DSGG，将场景图检测视为基于一组独特的图感知查询的直接图预测问题，并采用放松子图匹配的方式获取图节点及其关系的紧凑表示，以及通过关系蒸馏策略来解决关系语义重叠问题。实验结果表明，该模型在场景图生成任务上取得了最先进的结果，在 mR@50 和 mR@100 方面分别取得了 3.5％和 6.7％的显著改进，在全景场景图生成任务上甚至取得了 8.5％和 10.3％的更大改进。

    Mar, 2024

  • 通过去偏向性生成信息场景图

    为解决语义空间层面和样本训练层面的不平衡问题，在场景图生成中提出了一种名为 DB-SGG 的有效框架，通过语义去偏见和平衡谓词学习的组件集成，超过 Transformer 136.3％、119.5％和 122.6％的 mR@20，在三个场景图生成子任务上，应用于 SGG 模型，并在句子到图形检索和图像字幕的两个下游任务上得到验证。

    Aug, 2023

  • 视频中无偏场景图生成的相关性去偏

    FloCoDe 通过使用流进行特征扭曲以检测帧间时间一致的对象，并使用相关性去偏学习长尾类别的无偏关系表示，通过混合 sigmoid 交叉熵损失和对比损失以缓解预测不确定性，实现生成更加无偏的场景图，性能提升高达 4.1%。

    Oct, 2023

  • 基于边双场景图和消息传递神经网络的语义场景图生成

    通过引入边缘双场景图生成（EdgeSGG）和双消息传递神经网络（DualMPNN），本论文提出了一种建模多对象关系的新方法，可以准确地预测对象之间的详细关系，并在各个场景图生成子任务中实现了显著的性能提升，同时有效缓解了长尾分布问题。

    Nov, 2023

  • 通过拓扑去噪实现鲁棒图神经网络的学习降维

    本文提出了一种基于参数化拓扑去噪网络的 GNN 模型（PTDNet），可以通过学习去除任务无关的边来提高 GNN 模型的稳健性和泛化性能，并在各种任务中（如节点分类和链接预测）均有显著的性能提升，特别是在噪声数据集上性能提升更为明显。

    Nov, 2020

  • OED：实现一阶段端到端的动态场景图生成

    DSGG 研究主要关注于在视频的时空域中识别视觉关系。本文提出了一种称为 OED 的一阶端到端框架，它将任务重新定义为集合预测问题，并利用成对特征来表示场景图中的每个主客体对。同时，为了捕获时序依赖关系，引入了一种称为 PRM 的渐进细化模块，它能够在没有额外跟踪器或手工制作的轨迹的约束下聚合时序上下文，并实现网络的端到端优化。通过在 Action Genome 基准上进行大量实验，证明了我们设计的有效性。

    May, 2024