弱指代 grounding 的判别三元组匹配和重建

Jun, 2021

弱指代 grounding 的判别三元组匹配和重建

Discriminative Triad Matching and Reconstruction for Weakly Referring Expression Grounding

Mingjie Sun, Jimin Xiao, Eng Gee Lim, Si Liu, John Y. Goulermas

TL;DR本文提出了一种基于判别三元组的弱监督指代消解方法，通过该方法，可将查询转换为一个或多个判别三元组，并提出了轻量级的三元组级匹配和重构模块，使弱监督训练比先前的最先进方法轻三倍，速度快三倍，同时在 RefCOCO，RefCOCO + 和 RefCOCOg 数据集上取得了 4.17％，4.08％和 7.8％的优异性能。

Abstract

In this paper, we are tackling the weakly-supervised referring expression grounding task, for the localization of a referent object in an image according to a query sentence, where the mapping between image regions and queries are not available during the training stage. In traditional

weakly-supervised referring expression grounding discriminative triad triad-level matching state-of-the-art accuracy

发现论文，激发创造

弱监督指代消解的自适应重建网络

本文提出了一种使用自适应重建网络 (ARN) 解决弱监督引用表达地面问题的方法，该模型使用分层注意模型计算每个提案和查询之间的匹配分数，并采用语言重建损失、自适应重建损失和属性分类损失协同重建输入查询，实验证明 ARN 比现有的最新方法在四个大型数据集上表现更好，并能更好地处理特定类别的多个对象位于一起的情况。

Aug, 2019

弱监督视觉引导的关系感知实例细化

本研究提出了一种新的上下文感知弱监督学习方法，它将粗到细的物体细化和实体关系建模结合到一个两阶段深度网络中，以更准确地表述和匹配物体，并通过自我学习回归和关系分析来有效训练必要的分类方法。在 Flickr30K 和 ReferItGame 数据集上的广泛实验表明，本文所提出的弱强化框架比以前的方法具有更好的算法性能，Flickr30K 实体和 ReferItGame 数据集上的 Top-1 准确度分别达到 59.27％和 37.68％。

Mar, 2021

基于知识引导的弱监督指代消解对生成网络

本文提出一种基于知识引导的配对重构网络（KPRN）框架来解决弱监督参考表达基础（REG）问题，并进行了四个大规模数据集的实验来展现模型的优异性能。

Sep, 2019

通过对比知识蒸馏提高弱监督视觉定位

本文提出了一种基于弱监督学习、对比学习和目标检测的短语定位方法，旨在解决训练过程中图像区域和句子短语之间缺失链接的问题，并在消除了测试时的目标检测需求后，取得了在视觉短语定位方面的最新成果。

Jul, 2020

蒸馏粗粒到精粒语义匹配知识用于弱监督的三维视觉接地

利用弱监督注释学习 3D 视觉定位模型，通过分析对象提案和句子之间的语义相似性，我们构建了一个语义匹配模型，将粗粒度的场景 - 句子对应关系用于学习目标 - 句子链接。同时，我们将粗精度的语义匹配知识融入经典的两阶段 3D 视觉定位模型，以减少推理成本并提高性能。通过在 ScanRefer、Nr3D 和 Sr3D 上进行广泛实验证明了我们提出方法的有效性。

Jul, 2023

实体增强的自适应重建网络用于弱监督的指称表达绑定

本研究提出了一种适应性重构网络，通过语义相似性计算、自适应定位和协作重构等三个模块的方式，克服弱监督条件下目标与表达之间的对应关系不足引发的问题，在五个数据集上的试验结果表明该网络优于现有的最先进方法。

Jul, 2022

基于 RGB-D 的自底向上的 3D 图像视觉定位方法

本文提出一种用于单视角 RGBD 图像的三维视觉定位的新方法，该方法采用从底层融合语言和视觉特征生成热图的方式来粗略定位相关区域，然后通过自适应特征学习和对象级匹配，并结合另一种视觉语言融合来最终定位被引用的对象。该方法在 ScanRefer 数据集和 SUNRefer 数据集上的实验证明，与现有方法相比，在两个数据集上均取得了较大的 [email protected] 提升（分别提升 11.2% 和 15.6%）。

Mar, 2021

指称表达的弱监督分割

本文提出基于 Transformer 模型的弱监督语义图像分割方法 Text Grounded Semantic Segmentation (TSEG)，通过学习从图像级别的文本语句直接生成分割掩模，实现了从提及的表达式中进行图像分割，实验结果表明在 PhraseCut 和 RefCOCO 数据集上 TSEG 表现出了很好的弱监督语义分割效果，并且在 Pascal VOC 数据集的无监督语义分割任务中也具有很强的竞争力。

May, 2022

InstanceRefer: 基于实例多级语境参考的点云视觉定位合作全面理解

本文提出了一种名为 InstanceRefer 的模型，该模型利用语言描述实现目标类别预测，从 3D 点云的广义实例分割中筛选出少量实例候选项，利用多级语境推理和多层次特征匹配来实现最相关候选项的选择和定位，从而实现了优越的 3D 视觉定位结果

Mar, 2021

弱监督词组定位的对比学习

本文介绍了一种通过优化单词 - 区域关注力最大化互信息的方法来学习短语定位，该方法通过利用经过语言模型引导的单词替换来构建有效的负面标题进行训练，进而实现对 CO-Captions 数据集的短语 grounding，使精度提高了 5.7%。

Jun, 2020