Nov, 2015

自然语言对象检索

PDF
TL;DR本文提出了一种基于 SCRC 模型来实现自然语言对象检索的方法，利用空间配置和全局场景级上下文信息对网络进行评分，通过循环网络处理查询文本、本地图像描述符、空间配置以及全局上下文特征来输出概率，实现了从图像标题到任务的视觉语言知识的转移，实验结果表明我们的模型有效地利用了局部和全局信息，在不同数据集和场景中显著优于先前的基准方法，并可以利用大规模的视觉和语言数据集进行知识转移。
natural language object retrievalscrc modelspatial configurationsglobal context featuresknowledge transfer
发现论文，激发创造
  • 一种基于上下文感知的端到端自然语言对象检索方法

    本文介绍一种通过深度强化学习的方式，结合空间和时间情境及自然语言先验知识，移动和重塑边界框以定位描述中的物体，从而实现自然语言目标检索任务。作者实验表明，该方法在多个数据集上均优于现有算法，特别在 ReferItGame 数据集上，该方法相比 GroundeR 和 SCRC 的准确率分别提高了 7.67％和 18.25％。

    Mar, 2017

  • 基于自然语言的目标描述和检索

    本文介绍了一种基于对象描述的联合学习视觉和语言以深入了解对象的方法，并提出了两个新的架构来解决对象字幕和基于自然语言的对象检索单元。研究表明，使用混合的端到端 CNN-LSTM 网络可以有效地解决两个问题，并在推理时间非常快的同时，提供了对对象的详细理解。

    Mar, 2018

  • 带上下文的自然语言查询的机器人目标检索

    我们开发了一种基于机器学习的模型，使机器人能够根据物体的用途检索物体，而不是仅针对特定的物体类型或视觉属性，从而实现了高级概念的预测和自然语言命令的推广。

    Jun, 2020

  • 基于注意力机制的自然语言人物检索

    本文提出了一个基于注意力机制的自然语言人物检索系统，并成功应用于监控视频检索领域中，该系统使用了 Faster R-CNN 中的候选区域生成器来提取视觉特征，并利用 BLSTM 模型进行文本特征提取，将其融合后进行得分，可以更加精确地检索到所需的目标。

    May, 2017

  • 使用自然语言查询进行交互式检索复杂场景的逐层钻取

    本文提出了 Drill-down，该方法可以使用自然语言进行交互式图像检索，能够在包含多个对象的复杂图像场景中有效地使用多轮查询和弱监督，这种方法展现了优越的表现。

    Nov, 2019

  • ScanRefer: 使用自然语言在 RGB-D 扫描中进行 3D 物体定位

    本研究提出了通过自然语言描述在 RGB-D 扫描中进行 3D 对象定位的方法 ScanRefer，使用 3D 对象提取和编码的句子嵌入来学习融合描述符，将语言表达与几何特征进行相关性建模，可以实现目标对象的 3D 边界框的回归。同时还构建了 ScanRefer 数据集，包含来自 800 个 ScanNet 场景的 11,046 个对象的 51,583 个描述。这是第一个通过自然语言直接在 3D 中执行对象定位的大规模尝试。

    Dec, 2019

  • 通过负样本短语增强实现开放词汇对象检索和定位的判别式学习

    本篇研究旨在解决目标检测模型只能处理预定义类的问题，并提出利用文本查询进行目标检索和定位的方法 (Query-Adaptive R-CNN), 通过负向短语扩充 (NPA) 技术训练分类器以检索和定位视觉样本库中的对象，实验表明该方法能在 0.5 秒内从 100 万张图像中准确完成检索定位。

    Nov, 2017

  • 语言辅助下的场景检索：我在哪里？

    使用自然语言接口和语境 AI 的研究，探索以自然语言查询来识别 3D 场景图的场景检索方法，并介绍了 Text2SceneGraphMatcher 的学习框架和数据集。

    Apr, 2024

  • 聚合特征的面向对象的开放词汇图像检索

    本研究提出了一种简单而有效的方法来实现以对象为中心的开放词汇图像检索，通过从 CLIP 中提取出的密集嵌入将大规模图像检索管道的可扩展性与密集检测方法的对象识别能力相结合，从而实现了极大的提升。

    Sep, 2023

  • 自然语言引导的动态多模态实例分割

    本研究旨在处理通过自然语言描述的对象分割问题，并提出了一种新的方法，将递归神经网络和卷积神经网络相结合以完全利用语言的递归本质。通过四个标准数据集的比较，我们的方法在八个任务中的六个任务中表现超越之前的方法。

    Jul, 2018