ICCVNov, 2016

基于综合图像 - 语言线索的短语定位和视觉关系检测

PDF
TL;DR该论文提出了一种利用大量语言和视觉线索定位或落实图像中短语的框架，该系统在 Flickr30k 实体数据集的短语定位和斯坦福 VRD 数据集的视觉关系检测上取得了最先进的性能。
发现论文，激发创造
  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 通过语言表达视觉关系

    该研究利用编码器 - 解码器结构和关系注意力等特征，提出了一种新的在两个图像之间生成关系说明的模型，并透过对新收集及公开的数据集进行实验，证明其比现有的各种基准线和方法都要好。

    Jun, 2019

  • 文本短语重建图像基础

    通过采用注意力机制来重构给定的短语，本论文提出了一种新的接近无监督学习的方法来学习 grounding，该方法不需要太多的地面实时监督，有效提高了在 Flickr 30k 实体数据集上的表现。

    Nov, 2015

  • 无配对训练样本的短语本地化

    该论文提出了一种基于弱监督方法且无需特定任务数据的短语定位方法，利用图像中检测到的对象、场景和颜色探究了衡量语义相似性的不同方法，并在两个短语定位数据集上进行了实验，结果表明该方法超越了所有弱监督方法，并且表现出很强的任务基线能力。

    Aug, 2019

  • Flickr30k 实体：收集区域到短语的对应关系以构建更丰富的图像到句子模型

    本文介绍了 Flickr30k 实体数据集，其中增加了 244k 个共指链，将相同实体的提及于同一图像中的不同标题链接起来，并与 276k 个手动标注的边界框关联。该注释对于自动图像描述和基于语言的图像理解的持续进展至关重要。

    May, 2015

  • 弱监督词组定位的对比学习

    本文介绍了一种通过优化单词 - 区域关注力最大化互信息的方法来学习短语定位，该方法通过利用经过语言模型引导的单词替换来构建有效的负面标题进行训练，进而实现对 CO-Captions 数据集的短语 grounding，使精度提高了 5.7%。

    Jun, 2020

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • 自然语言引导下的视觉关系检测

    本研究提出了一种自然语言引导的框架来解决视觉关系检测任务中对象对之间关系分类的问题，并使用双向循环神经网络以及语义连接来预测参与关系的对象之间的语义连接。该方法在 Visual Relationship Detection 和 Visual Genome 数据集上取得了最佳状态，特别是在未预测关系的情况下。

    Nov, 2017

  • 通过全局和本地图像 - 语言关联改进个体重新识别的深度视觉表示

    本研究提出了一种利用自然语言描述作为附加训练监督的方法来有效地学习视觉特征。通过建立全局和局部图像 - 语言关联来实现语义一致性，该方法不仅能够学习更好的全局视觉特征，还能够强制对局部视觉和语言特征进行语义一致性的限制，从而实现了对于特定个体较为紧凑和语义的描述。在实验中，我们证明了语言作为训练监督在两种关联方案下具有有效性，并且在不使用任何辅助信息的情况下实现了最新的技术性能，比其他图像 - 语言交互的联合嵌入方法表现更出色。

    Aug, 2018

  • 利用神经场景图生成器学习视觉关系先验用于图像文本匹配和图像字幕生成

    通过结合神经场景图生成器和最先进的模型，我们的实验表明用于促进语言到视觉关系的关系特征能够显著改进标准的 Flickr30K 和 MSCOCO 基准测试，在端到端的视觉和语言应用中捕获视觉关系。

    Sep, 2019