AAAISep, 2020

Ref-NMS: 两阶段指向性表达基础中打破建议瓶颈

PDF
TL;DR本文提出了一种新的方法 Ref-NMS，它采用一个轻量级模块来对每个提案的盒子与关键对象对齐的得分进行预测，以提高关键对象的召回率，从而显著提高指代表达接地性能。
referring expression groundingobject detectorproposalsref-nmsperformance improvement
发现论文，激发创造
  • 利用语法将自然图片中的指代表达式与实际物体联系起来

    GroundNet 是用于语言表达识别的神经网络，利用句法分析输入指代表达式以指导计算图的结构，并解析句法成分和关系，映射到神经元模块组成的图形结构以进行目标物体及相关支持物体的定位，具有更好的可解释性和鲁棒性。

    May, 2018

  • 单阶段对齐网络实时理解指代表达

    本文提出了一种新的端到端模型 Single-Stage Grounding network（SSG），用于在图像内定位所指物体，通过多模态交互器和定位器来处理一个指代表达式，提出了引导注意机制和预测视觉属性信息来提高模型性能，并在 RefCOCO，RefCOCO + 和 RefCOCOg 数据集上进行了实验，结果表明设备效率高，能在很短时间内完成对所指物体的定位。

    Dec, 2018

  • 一种快速精确的一阶段视觉定位方法

    提出一种基于单阶段模型的视觉 grounding 方法，将文本查询的嵌入与 YOLOv3 物体检测器融合，加入空间特征以处理查询中的空间提及，并实现端到端联合优化，实验表明此方法对于短语定位和指代表达理解具有很大的潜力，同时建议在一些常见的区域提议方法上进行细致研究并将视觉 grounding 作为从传统双阶段方法向单阶段框架的范例转移

    Aug, 2019

  • 通过消除启发式 NMS 简化的物体检测

    本文介绍了一种基于 FCOS 检测模型的 NMS-free 端到端的目标检测框架，使用紧凑的 PSS head 实现单个目标实例的自动选择并消除后处理的 NMS，通过停梯度操作成功解决了一对多和一对一标签分配之间的冲突问题，实现了对 COCO 数据集的优越性能。

    Jan, 2021

  • 一种基于上下文感知的端到端自然语言对象检索方法

    本文介绍一种通过深度强化学习的方式，结合空间和时间情境及自然语言先验知识，移动和重塑边界框以定位描述中的物体，从而实现自然语言目标检索任务。作者实验表明，该方法在多个数据集上均优于现有算法，特别在 ReferItGame 数据集上，该方法相比 GroundeR 和 SCRC 的准确率分别提高了 7.67％和 18.25％。

    Mar, 2017

  • 学习非极大值抑制

    通过端到端学习范式，提出了一种利用端盒和分数执行非极大值抑制的新型网络架构，适用于个人检测和一般物体类别（基于 COCO 数据集），能够提供更好的定位和遮挡处理。

    May, 2017

  • 野外环境下的图结构指称表达推理

    本研究提出了基于场景图的模块化网络 (SGMN) 来解决指代表达式的 grounding 问题，并且设计出了一个大规模实验数据集 Ref-Reasoning，证明了该方法在这个数据集上的优越性。

    Apr, 2020

  • 人机交互中基于交互式视觉引导还原表达式

    本文介绍了 INGRESS，它是一个机器人系统，能够按照自然语言指示拾取和放置日常物品，并使用神经网络模型的两个阶段来进行对象引用和消岐。

    Jun, 2018

  • 弱监督指代消解的自适应重建网络

    本文提出了一种使用自适应重建网络 (ARN) 解决弱监督引用表达地面问题的方法，该模型使用分层注意模型计算每个提案和查询之间的匹配分数，并采用语言重建损失、自适应重建损失和属性分类损失协同重建输入查询，实验证明 ARN 比现有的最新方法在四个大型数据集上表现更好，并能更好地处理特定类别的多个对象位于一起的情况。

    Aug, 2019

  • 自然语言查询下的零样本对象定位

    本文介绍了一种基于自然语言查询的短语定位系统，将其从先前的具有特定名词约束扩展到零样本定位，并提出了使用单阶段模型 ZSGNet 来解决此问题，该模型结合了检测和定位系统并具有最先进的性能。

    Aug, 2019