AAAIMay, 2018

利用语法将自然图片中的指代表达式与实际物体联系起来

PDF
TL;DRGroundNet 是用于语言表达识别的神经网络，利用句法分析输入指代表达式以指导计算图的结构，并解析句法成分和关系，映射到神经元模块组成的图形结构以进行目标物体及相关支持物体的定位，具有更好的可解释性和鲁棒性。
groundnetreferring expression recognitionneural moduleslocalizationsyntactic analysis
发现论文，激发创造
  • 野外环境下的图结构指称表达推理

    本研究提出了基于场景图的模块化网络 (SGMN) 来解决指代表达式的 grounding 问题，并且设计出了一个大规模实验数据集 Ref-Reasoning，证明了该方法在这个数据集上的优越性。

    Apr, 2020

  • 人机交互中基于交互式视觉引导还原表达式

    本文介绍了 INGRESS，它是一个机器人系统，能够按照自然语言指示拾取和放置日常物品，并使用神经网络模型的两个阶段来进行对象引用和消岐。

    Jun, 2018

  • 单阶段对齐网络实时理解指代表达

    本文提出了一种新的端到端模型 Single-Stage Grounding network（SSG），用于在图像内定位所指物体，通过多模态交互器和定位器来处理一个指代表达式，提出了引导注意机制和预测视觉属性信息来提高模型性能，并在 RefCOCO，RefCOCO + 和 RefCOCOg 数据集上进行了实验，结果表明设备效率高，能在很短时间内完成对所指物体的定位。

    Dec, 2018

  • 指代表达理解的动态图注意力

    本文探讨了语言驱动的视觉推理的问题，提出了一种动态图注意力网络来执行多步推理​​，并针对复杂的语言表达能力生成可解释的视觉证据。实验结果表明，所提出的方法不仅可以显着超过三个常见基准数据集上的所有现有最新算法，而且还能生成可解释的视觉证据来逐步地定位所描述的物体。

    Sep, 2019

  • PIRC Net：利用提案索引、关系和语境进行短语定位

    本文提出了一种利用自然语言短语的分类和周围短语的关系、上下文等信息，通过三个模块分析图像中的区域提案，用于检测自然语言短语指代的图像中的对象位置，同时提出了针对弱监督学习的知识转移机制，该方法通过在 Flickr 30k Entities and ReferItGame 数据集上的实验，在自监督和非自监督下均实现了与现有方法相比的改进。

    Dec, 2018

  • 弱监督指代消解的自适应重建网络

    本文提出了一种使用自适应重建网络 (ARN) 解决弱监督引用表达地面问题的方法，该模型使用分层注意模型计算每个提案和查询之间的匹配分数，并采用语言重建损失、自适应重建损失和属性分类损失协同重建输入查询，实验证明 ARN 比现有的最新方法在四个大型数据集上表现更好，并能更好地处理特定类别的多个对象位于一起的情况。

    Aug, 2019

  • 为视觉锚定学习组装神经模块树网络

    提出了一种基于依赖解析树的神经模块树网络（NMTree），该网络通过规范化视觉构图，并根据其语言特征计算视觉注意而分解视觉构图，从而实现可解释的组合视觉推理，并且使用 Gumbel-Softmax 逼近进行端对端训练，可以应对解析错误的影响。

    Dec, 2018

  • 基于语义注意力的视频指称理解中的共同基础网络

    本文探讨了视频中指代表达理解的问题，并提出了一种新的视角，即协同基础，通过语义关注学习提高单帧基础的准确性，并通过协同基础的特征学习提高跨帧基础的一致性。实验结果表明，该框架在视频基础数据集 VID 和 LiOTB 上生成了准确且稳定的结果，并且在 RefCOCO 数据集上的表现也得到了改善。

    Mar, 2021

  • 文本短语重建图像基础

    通过采用注意力机制来重构给定的短语，本论文提出了一种新的接近无监督学习的方法来学习 grounding，该方法不需要太多的地面实时监督，有效提高了在 Flickr 30k 实体数据集上的表现。

    Nov, 2015

  • 视觉场景的基于语义 grounded 语义构成

    本篇研究介绍了一种基于视觉语言理解模型的单词语义组合来生成复杂指代表达式的理论，介绍了其在空间指代表达式中的应用及在语义理解中对视觉语境的影响研究。

    Jun, 2011