ECCVJul, 2016

指代表达中的上下文建模

PDF
TL;DR本研究旨在使用更好的视觉上下文测量标准，将对象识别和自然语言表达结合起来，从而提高对象识别和自然语言表达模型的性能。在 RefCOCO、RefCOCO+ 和 RefCOCOg 三个数据集上的评估表明，我们的方法对于对象指称生成和理解都具有优势。
natural language referring expressionsvisual contextreferring expression modelslanguage generationobject recognition
发现论文，激发创造
  • 理解引导的指示表达式

    本研究探讨了自然语言生成和阅读，特别是在图像中的特定物体的指称表达。我们提出了两种方法来利用人类生成表达的理解模块，以改进表达的生成质量，并在多个基准数据集上展示了改进效果。

    Jan, 2017

  • 为指称表达理解建模物体间的语境关系

    提出了一种技术，该技术通过整合对象之间的上下文来理解指代表达式，使用 LSTM 学习指代表达式的概率，并利用多示例学习 (MIL) 方法发现上下文区域，使用最大边际 MIL 目标函数训练 LSTM，实验结果表明，与仅建模对象属性相比，建模对象间上下文可以提供更好的性能，并可以定量地表明该技术可以将指涉表达式与支持的上下文区域联系起来。

    Aug, 2016

  • 基于标题感知的指代表达式物体分割

    本文介绍了一种通过端到端可训练的理解网络，由语言和视觉编码器组成，从语言和图像领域提取特征表示，提出了空间感知动态滤波器来转移文本到图像的知识并有效捕获指定对象的空间信息，并采用生成的字幕网络来加强语言和视觉模块之间的通信以及改进两者的表示，在两个数据集上评估了所提出的框架，并表明该方法在状态 - of-the-art 算法中表现良好。

    Oct, 2019

  • Cops-Ref：一个关于复合指称表达理解的新数据集和任务

    本研究提出一种新的场景下基于规约表达理解的视觉推理数据集，其中使用可灵活组合丰富的视觉属性和多种推理逻辑的新颖表达式引擎生成表达式，并添加额外干扰图像以实现更深层次的视觉推理分析，评估了多种最新的规约表达理解模型，但发现没有一种能够达到良好的表现，提出的模块化较难样本挖掘策略效果最佳，但仍有改进的空间。

    Mar, 2020

  • 基于场景上下文的视觉引用表达生成中的弹性

    探究场景背景在图像中物体指称生成中的作用，并以转换器为基础的 REG 模型为训练和测试对象，结果显示即使简单的场景背景也能使模型对干扰具有出乎意料的韧性，甚至在完全缺失目标的视觉信息情况下也能辨别出指称类型。

    Apr, 2024

  • 视觉指向表达识别：系统实际学习了什么？

    本文通过对指称表达识别最先进系统的经验分析来探究这些系统处理语言和视觉的方式，并发现这些系统可能忽略语言结构，依赖于数据选择和注释过程中引入的浅层相关性。

    May, 2018

  • 通过可变上下文将指代表达式与图像联系起来

    本文提出了一种变分贝叶斯方法，名为变分语境，用于解决指代表达的复杂上下文建模问题，在具有监督学习和无监督学习的情况下对各种基准进行广泛实验，都得到了优秀的结果。

    Dec, 2017

  • 变分上下文：利用视觉和文本上下文来确定指代表达式

    本研究采用变分贝叶斯方法来解决在图像中定位和链接指称表述时复杂上下文建模的问题，并考虑语义信息和上下文的相互关系以及在监督和非监督设置中的提高。

    Jul, 2019

  • 指代表达理解：方法与数据集综述

    本文调查了现代方法解决自然语言与计算机视觉领域中的指代表达理解问题，包括用于编码视觉和文本模态的机制，结构化图表示的模块化架构和基于图形的模型，以及针对小型数据集的结果，提出了复合指称表述理解方向的潜在未来研究方向。

    Jul, 2020

  • 生成和理解明确的物体描述

    本文提出了一种生成图像中特定物体或区域（即指代表达）的明确描述并理解或推断所描述的物体的方法。实验表明，该方法优于之前没有考虑场景中其他潜在歧义对象而生成对象描述的方法。作者基于深度学习方法取得的最近成功，灵感提出了该方法。作者提供了一个基于 MS-COCO 的新的大规模指代表达数据集，并发布了数据集和可视化和评估工具箱。

    Nov, 2015