MMSep, 2019

基于知识引导的弱监督指代消解对生成网络

PDF
TL;DR本文提出一种基于知识引导的配对重构网络（KPRN）框架来解决弱监督参考表达基础（REG）问题，并进行了四个大规模数据集的实验来展现模型的优异性能。
weakly supervisedreferring expression groundingsemantic similaritiespairwise attentionadaptive weighting
发现论文，激发创造
  • 实体增强的自适应重建网络用于弱监督的指称表达绑定

    本研究提出了一种适应性重构网络，通过语义相似性计算、自适应定位和协作重构等三个模块的方式，克服弱监督条件下目标与表达之间的对应关系不足引发的问题，在五个数据集上的试验结果表明该网络优于现有的最先进方法。

    Jul, 2022

  • 弱监督指代消解的自适应重建网络

    本文提出了一种使用自适应重建网络 (ARN) 解决弱监督引用表达地面问题的方法，该模型使用分层注意模型计算每个提案和查询之间的匹配分数，并采用语言重建损失、自适应重建损失和属性分类损失协同重建输入查询，实验证明 ARN 比现有的最新方法在四个大型数据集上表现更好，并能更好地处理特定类别的多个对象位于一起的情况。

    Aug, 2019

  • 弱监督视觉引导的关系感知实例细化

    本研究提出了一种新的上下文感知弱监督学习方法，它将粗到细的物体细化和实体关系建模结合到一个两阶段深度网络中，以更准确地表述和匹配物体，并通过自我学习回归和关系分析来有效训练必要的分类方法。在 Flickr30K 和 ReferItGame 数据集上的广泛实验表明，本文所提出的弱强化框架比以前的方法具有更好的算法性能，Flickr30K 实体和 ReferItGame 数据集上的 Top-1 准确度分别达到 59.27％和 37.68％。

    Mar, 2021

  • 具有上下文策略的查询引导回归网络用于短语定位

    本文提出一种新的 Query-Regured Regression 网络（QRC Net）方法，利用空间回归方法打破最优提案性能限制，同时引入强化学习技术并进一步利用语义上下文信息提高了准确性，显著提高了两个流行数据集（Flickr30K Entities 和 Referit Game）上的表现。

    Aug, 2017

  • 弱指代 grounding 的判别三元组匹配和重建

    本文提出了一种基于判别三元组的弱监督指代消解方法，通过该方法，可将查询转换为一个或多个判别三元组，并提出了轻量级的三元组级匹配和重构模块，使弱监督训练比先前的最先进方法轻三倍，速度快三倍，同时在 RefCOCO，RefCOCO + 和 RefCOCOg 数据集上取得了 4.17％，4.08％和 7.8％的优异性能。

    Jun, 2021

  • 基于语义先验精细调整的弱监督视觉 - 文本链接

    论文提出了一种基于弱化监督的视觉文本对齐模型 SPRM，通过组合输出的两个模块的预测结果学习文本短语和边界框之间的对应关系，达到了最先进的实验效果，并且在使用少量训练样例时也具有竞争性能。

    May, 2023

  • 弱监督短语定位的知识辅助一致性

    本研究提出了一种基于知识辅助一致性网络的短语定位方法，结合视觉和语言模态以及外部知识增强弱监督场景下的模型表现，实验结果表明该方法对两个流行数据集均有显著改进。

    Mar, 2018

  • PIRC Net：利用提案索引、关系和语境进行短语定位

    本文提出了一种利用自然语言短语的分类和周围短语的关系、上下文等信息，通过三个模块分析图像中的区域提案，用于检测自然语言短语指代的图像中的对象位置，同时提出了针对弱监督学习的知识转移机制，该方法通过在 Flickr 30k Entities and ReferItGame 数据集上的实验，在自监督和非自监督下均实现了与现有方法相比的改进。

    Dec, 2018

  • 指称表达的弱监督分割

    本文提出基于 Transformer 模型的弱监督语义图像分割方法 Text Grounded Semantic Segmentation (TSEG)，通过学习从图像级别的文本语句直接生成分割掩模，实现了从提及的表达式中进行图像分割，实验结果表明在 PhraseCut 和 RefCOCO 数据集上 TSEG 表现出了很好的弱监督语义分割效果，并且在 Pascal VOC 数据集的无监督语义分割任务中也具有很强的竞争力。

    May, 2022

  • 基于关系嵌入的指代表达式 grounding 表示学习

    本文提出了一种 Cross-Modal Relationship Extractor (CMRE) 的方法，利用跨模式的注意力机制自适应地提取和关联表达式中与对象相关的空间和语义关系，并将提取的信息表示为语言导向的视觉关系图。同时，我们还提出了一种 Gated Graph Convolutional Network (GGCN)，通过融合不同模式的信息并在结构化的关系图中传播多模式信息来计算多模式语义上下文，并在三个通用基准数据集上证明了该方法的显著优于所有现有的最新方法。

    Jun, 2019