CVPRMay, 2017

基于注意力机制的自然语言人物检索

PDF
TL;DR本文提出了一个基于注意力机制的自然语言人物检索系统，并成功应用于监控视频检索领域中，该系统使用了 Faster R-CNN 中的候选区域生成器来提取视觉特征，并利用 BLSTM 模型进行文本特征提取，将其融合后进行得分，可以更加精确地检索到所需的目标。
natural language person retrievalattention mechanismcnnblstmsurveillance video footage
发现论文，激发创造
  • 自然语言描述的人员搜索

    本论文提出一种基于自然语言描述的人物搜索方法，利用 CUHK Person Description Dataset 建立了人物描述与样本的对应关系，并使用一种基于 Gated Neural Attention 机制的循环神经网络，实现了在人物搜索中的最优性能。

    Feb, 2017

  • 基于自然语言的目标描述和检索

    本文介绍了一种基于对象描述的联合学习视觉和语言以深入了解对象的方法，并提出了两个新的架构来解决对象字幕和基于自然语言的对象检索单元。研究表明，使用混合的端到端 CNN-LSTM 网络可以有效地解决两个问题，并在推理时间非常快的同时，提供了对对象的详细理解。

    Mar, 2018

  • 自然语言对象检索

    本文提出了一种基于 SCRC 模型来实现自然语言对象检索的方法，利用空间配置和全局场景级上下文信息对网络进行评分，通过循环网络处理查询文本、本地图像描述符、空间配置以及全局上下文特征来输出概率，实现了从图像标题到任务的视觉语言知识的转移，实验结果表明我们的模型有效地利用了局部和全局信息，在不同数据集和场景中显著优于先前的基准方法，并可以利用大规模的视觉和语言数据集进行知识转移。

    Nov, 2015

  • 语义关注下的图像字幕生成

    本文提出了一种融合上下文语境的自动图像描述算法，通过自下而上的计算和语义关注的上下文交互作用，成功在 Microsoft COCO 和 Flickr30K 两个公开基准测试中取得了明显的优于现有算法的结果。

    Mar, 2016

  • 利用视觉注意力进行人员再识别

    论文提出了一种基于梯度注意机制和深度卷积神经网络的人物再识别方法，可以通过关注图像中最敏感的部分来处理输入图像并在低分辨率下感知周围图像，成功地在 CUHK01，CUHK03 和 Market 1501 数据集上超越了现有的先进方法。

    Jul, 2017

  • 基于姿态引导的多粒度注意力网络用于基于文本的人物搜索

    该研究提出了一种基于文本描述搜索人物图像的方法，通过使用多层次的视觉内容对不同语义相关性的相关图像和描述进行匹配，其中包括了多粒度的视觉信息。在 CUHK-PEDES 数据集上进行的实验表明，该方法在 top-1 指标上比现有方法高出 15％。

    Sep, 2018

  • 视觉和语言的人物再识别

    我们提出了一种新的人员再识别方法，使用图像和自然语言描述的联合视觉和语言模型，相比属性和 LSTM，使用自然语言描述和 CNN 可以显著提高标准 Re-ID 基准测试的性能。

    Oct, 2017

  • 基于自然语言查询的时空人员检索

    本研究针对多视频中基于自然语言查询的空间时间人员检索问题，设计了一种模型，结合了空间时间人类检测和多模式检索方法，提出了一种新颖的数据集和一个具有强大基线和良好效果的模型。

    Apr, 2017

  • 从全网图片 - 文本数据中检索来提高图像识别

    研究使用检索增强模型来提高计算机视觉任务的识别能力，引入了一种基于注意力机制的记忆模块，学习从外部记忆集合中检索出的每个例子的重要性，证明了使用 10 亿个图像 - 文本对的大规模记忆数据集的好处，并在 ImageNet-LT，Places-LT 和 Webvision 数据集中取得了最先进的准确性。

    Apr, 2023

  • 一种基于上下文感知的端到端自然语言对象检索方法

    本文介绍一种通过深度强化学习的方式，结合空间和时间情境及自然语言先验知识，移动和重塑边界框以定位描述中的物体，从而实现自然语言目标检索任务。作者实验表明，该方法在多个数据集上均优于现有算法，特别在 ReferItGame 数据集上，该方法相比 GroundeR 和 SCRC 的准确率分别提高了 7.67％和 18.25％。

    Mar, 2017