CVPRNov, 2017

神经图形：全局背景下的场景图解析

PDF
TL;DR本研究通过分析场景图中常规出现的子结构 (即 motifs)，研究如何生成场景的结构化图形表达，并构建了一种能够捕捉场景图中高阶 motifs 的新架构 —— 堆叠 motif 网络 (Stacked Motif Networks)。通过在 Visual Genome 数据集上实验，结果表明我们的基准模型获得了 3.6％的相对改进，并且该新架构又减少了相对 7.1％的误差。
发现论文，激发创造
  • 超越局部化图神经网络：一种基于属性模式正则化的框架

    介绍了一种新的半监督学习框架，名为 InfoMotif，可有效提升 GNN 的性能。该框架通过节点在网络中存在的结构角色来实现节点表示的优化，同时通过最大化互信息来实现任意 GNN 的零计划独立性。经过实验测试，InfoMotif 在 6 个真实世界数据集上取得了显著的准度提升，特别是在局部邻域结构上具有稀疏标签和多样属性的节点。

    Sep, 2020

  • 基于模式的图卷积神经网络

    该论文介绍了一种新的卷积神经网络架构，名为 Motif-CNN，能够处理具有不规则连接结构的图形，特别是异构图形，实现了半监督节点分类，并在真实社交网络和多个代表性异构图形数据集上显示出与现有图形卷积神经网络和其他最先进技术相比的显着优势。

    Nov, 2017

  • 利用全局上下文嵌入进行场景解析

    本文提出了基于参数化和非参数化模型的全局语境信息来进行场景解析，使用场景相似性训练上下文网络生成特征表示来生成空间和全局先验知识，然后将这些特征表示和先验知识嵌入到分割网络作为额外的全局上下文提示。实验表明该方法可以消除与全局上下文表示不兼容的误报，且在 MIT ADE20K 和 PASCAL Context 数据集上表现良好。

    Oct, 2017

  • 基于模式的图形表示对比学习

    通过学习图模式 (Motif)，对大型图数据库进行 GNN 预处理，进而利用学习到的模式采样更多信息化的子图，通过对子图的对比学习预训练 GNN，使其性能在多个基准数据集中平均提高了 2.04% 的 ROC-AUC。

    Dec, 2020

  • 迭代消息传递的场景图生成

    研究使用视觉图像中的基于场景图谱的结构化表示，通过端到端模型建模图像中对象之间的关系，通过消息传递技术可以更好预测对象及其关系， 实验表明该模型显著优于以前的方法。

    Jan, 2017

  • 使用相对相似性监督的场景图嵌入

    本文探讨利用图卷积网络对场景图进行结构化表示并生成有用的语义图像嵌入的方法，通过相似性标签学习图像表示，提出一种新的排序损失函数并设计三元采样策略，实验表明此方法优于已知相似性损失，且能够很好地捕捉场景的全局信息。

    Apr, 2021

  • 基于模 motif 的注意力机制的图卷称神经网络

    本文提出了一种新颖的框架，可以在任意图上学习空间和关注卷积神经网络，通过子图归一化和自我关注层，可以显著提高传统图内核和现有深度模型的图分类基准。

    Nov, 2018

  • 关注关系网络：将图像映射到场景图

    本研究提出了一种新颖的基于注意力机制的关系网络，其包含两个关键模块和一个目标检测主干以实现场景图自动生成，并在 Visual Genome 数据集上进行了实验验证其有效性和优越性。

    Nov, 2018

  • LinkNet：场景图的关系嵌入

    本文提出了一种改进场景图生成的方法，通过显式建模整个对象实例的相互依赖关系，设计了一种简单而有效的关系嵌入模块，使我们的模型能够联合表示所有相关对象之间的连接，而不是只关注单个对象。在基本 Faster R-CNN 的基础上使用它，我们的模型在 Visual Genome 基准测试上取得了最先进的结果。通过引入全局上下文编码模块和几何布局编码模块，我们进一步提高了性能。在广泛的消融研究中，我们验证了我们的最终模型 LinkNet 在场景图生成方面的效果。

    Nov, 2018

  • 场景图解析作为依存句法分析

    本文介绍了一种通过神经依赖解析器直接从文本描述中解析出场景图来实现端到端训练的方法，并在评估数据集上比以往方法高出 5％的 F - 分数相似度来生成了我们学习的神经依赖解析器产生的场景图。

    Mar, 2018