May, 2019

基于语言条件的图网络用于关系推理

PDF
TL;DR本文提出了一种基于场景上下文化表征的图网络模型，通过文本输入的迭代信息传递来构建物体的语境化表达，以支持关系推理，实验结果表明该方法有效地提高了多项任务和数据集的表现。
relational reasoningvisual scenelanguage-conditioned graph networkscontext-aware representationiterative message passing
发现论文，激发创造
  • 关系视觉推理中的动态语言绑定

    本文提出了一种首个跨越视觉和文本领域的动态关系结构的神经推理方法，可在视觉问答中应用，采用其动态结构反映不断演变的推理上下文，发现有助于多步知识组合和优化的动态图优化问题求解能力。

    Apr, 2020

  • 基于图的社交关系推理

    本文提出了一种基于图形关系推理网络方法 (GR2N) 的社交关系识别方法，该方法相比现有方法能够更快，更准确地构建社交关系图，并显式地抓住不同类型社交关系之间的强逻辑约束，从而提高社交关系图的性能。

    Jul, 2020

  • 利用先验视觉关系的场景图推理用于视觉问答

    使用结构化可视化表征 —— 场景图，通过可视上下文和语言因素进行关系编码，使用场景图卷积网络实现对对象属性和关系语义的联合推理来回答视觉问题，从而在 GQA 数据集上实现了 54.56％的最高准确率。

    Dec, 2018

  • 用图卷积网络建模关系型数据

    我们介绍了关系图卷积网络 (R-GCNs) 并将它们应用于标准的知识库补全任务，包括链接预测和实体分类。R-GCNs 旨在应对实际知识库中高度多关系数据的特点，我们证明了它们作为一个独立模型在实体分类方面的有效性，并进一步证明，通过在关系图中累积多个推理步骤的编码器模型来丰富解码器模型，可以极大地提高因子分解模型 (例如 DistMult) 在链接预测方面的表现 (在 FB15k-237 上的表现提高了 29.8%)。

    Mar, 2017

  • 通过视听信息传递将自然图像场景图映射到实体化

    该研究提出了一种基于图神经网络的方法，通过联合描述场景中的对象，并利用上下文信息来提高对象定位性能。

    Nov, 2022

  • 通过关系网络进行归纳式知识图谱补全的逻辑推理

    针对归纳性知识图谱补全（KGC）的问题，我们提出了一种新颖的 iNfOmax RelAtion Network（NORAN），旨在挖掘适用于归纳性 KGC 的潜在关系模式，实验结果表明我们的框架在五个基准测试中显著优于现有的 KGC 方法。

    Jun, 2024

  • 基于关系图学习的视频描述生成

    本研究设计了一种新颖的关系图学习框架，包括一种语言细化的场景图表示，探索细粒度的视觉概念，并解决了对象幻觉问题。实验结果表明，本方法可以生成更精细和准确的描述。

    Dec, 2021

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • 野外环境下的图结构指称表达推理

    本研究提出了基于场景图的模块化网络 (SGMN) 来解决指代表达式的 grounding 问题，并且设计出了一个大规模实验数据集 Ref-Reasoning，证明了该方法在这个数据集上的优越性。

    Apr, 2020

  • 学习跨模态上下文图进行视觉定位

    本文提出了一种基于语言引导图表示的方法来捕获全局上下文和关系，以及跨模态图匹配策略来解决多短语视觉定位任务，实验证明我们的方法优于现有技术，并提供了开源代码。

    Nov, 2019