Jul, 2022

实体增强的自适应重建网络用于弱监督的指称表达绑定

PDF
TL;DR本研究提出了一种适应性重构网络，通过语义相似性计算、自适应定位和协作重构等三个模块的方式，克服弱监督条件下目标与表达之间的对应关系不足引发的问题，在五个数据集上的试验结果表明该网络优于现有的最先进方法。
weakly supervisedreferring expression groundingentity-enhanced adaptive reconstruction networksemantic similarityhierarchical attention
发现论文，激发创造
  • 弱监督指代消解的自适应重建网络

    本文提出了一种使用自适应重建网络 (ARN) 解决弱监督引用表达地面问题的方法，该模型使用分层注意模型计算每个提案和查询之间的匹配分数，并采用语言重建损失、自适应重建损失和属性分类损失协同重建输入查询，实验证明 ARN 比现有的最新方法在四个大型数据集上表现更好，并能更好地处理特定类别的多个对象位于一起的情况。

    Aug, 2019

  • 基于知识引导的弱监督指代消解对生成网络

    本文提出一种基于知识引导的配对重构网络（KPRN）框架来解决弱监督参考表达基础（REG）问题，并进行了四个大规模数据集的实验来展现模型的优异性能。

    Sep, 2019

  • 弱监督视觉引导的关系感知实例细化

    本研究提出了一种新的上下文感知弱监督学习方法，它将粗到细的物体细化和实体关系建模结合到一个两阶段深度网络中，以更准确地表述和匹配物体，并通过自我学习回归和关系分析来有效训练必要的分类方法。在 Flickr30K 和 ReferItGame 数据集上的广泛实验表明，本文所提出的弱强化框架比以前的方法具有更好的算法性能，Flickr30K 实体和 ReferItGame 数据集上的 Top-1 准确度分别达到 59.27％和 37.68％。

    Mar, 2021

  • 使用实体概况生成指代表达式

    该研究提出了一种面向上下文的实体参照生成模型，并解决了现有模型依赖于特定实体训练数据的局限性，同时在 WebNLG 数据集上进行的实验表明，该模型在多个方面有着优越的表现。

    Sep, 2019

  • 弱指代 grounding 的判别三元组匹配和重建

    本文提出了一种基于判别三元组的弱监督指代消解方法，通过该方法，可将查询转换为一个或多个判别三元组，并提出了轻量级的三元组级匹配和重构模块，使弱监督训练比先前的最先进方法轻三倍，速度快三倍，同时在 RefCOCO，RefCOCO + 和 RefCOCOg 数据集上取得了 4.17％，4.08％和 7.8％的优异性能。

    Jun, 2021

  • 指称表达的弱监督分割

    本文提出基于 Transformer 模型的弱监督语义图像分割方法 Text Grounded Semantic Segmentation (TSEG)，通过学习从图像级别的文本语句直接生成分割掩模，实现了从提及的表达式中进行图像分割，实验结果表明在 PhraseCut 和 RefCOCO 数据集上 TSEG 表现出了很好的弱监督语义分割效果，并且在 Pascal VOC 数据集的无监督语义分割任务中也具有很强的竞争力。

    May, 2022

  • TransRefer3D：面向细粒度 3D 视觉 grounding 的实体 - 关系感知 Transformer

    本文提出了一种基于 Transformer 的 TransRefer3D 网络，利用实体和关系感知的多模态上下文提取模块，通过协同注意力操作进行跨模态匹配，构建了逐层的多模态上下文模型，从而在细粒度 3D 视觉定位任务中实现了学习出更具区分度的特征，并在实验中取得领先的性能。

    Aug, 2021

  • 能否定位？交互式提及表达生成

    本文提出了一个具有相互作用的交互式 REF 模型，利用用于识别目标定位以及由 REC 模型定位的视觉区域的信号逐步修改 REs，实验证明该模型在三个参考数据集上优于现有方法，并通过人工评估证明其生成了更好且具有交互能力的 REs。

    Aug, 2023

  • 神经网络引用表达生成的端到端方法

    本文提出了一种新方法 NeuralREG，该方法通过深度神经网络一步决定形式和内容，并在 WebNLG 语料库的去词汇化版本上显示出优越的性能，数据和模型已公开。

    May, 2018

  • 具有上下文策略的查询引导回归网络用于短语定位

    本文提出一种新的 Query-Regured Regression 网络（QRC Net）方法，利用空间回归方法打破最优提案性能限制，同时引入强化学习技术并进一步利用语义上下文信息提高了准确性，显著提高了两个流行数据集（Flickr30K Entities 和 Referit Game）上的表现。

    Aug, 2017