ACLMay, 2020

话语不够，次序至关重要：关于视觉指称表达的鲁棒性

PDF
TL;DR该论文研究了视觉指代表达识别这一挑战性任务，发现现有方法未能充分利用语言结构，提出了两种增强其健壮性的方法，并提供了数据集以供使用。
visual referring expression recognitionlinguistic structurerefcocogvilbertdataset
发现论文，激发创造
  • 视觉指向表达识别：系统实际学习了什么？

    本文通过对指称表达识别最先进系统的经验分析来探究这些系统处理语言和视觉的方式，并发现这些系统可能忽略语言结构，依赖于数据选择和注释过程中引入的浅层相关性。

    May, 2018

  • 通过视觉语言验证和迭代推理来改善视觉定位

    本研究提出了一种基于 transformer 的视觉定位框架，通过建立文本条件的区分性特征和执行多阶段跨模态推理来实现精确的视觉定位，并提出了基于文本的视觉上下文信息编码器和多阶段解码器以实现最新的性能。

    Apr, 2022

  • 视觉和语言模型中短语定位和任务表现的联合研究

    通过在图像环境中关联文字和短语到图像区域，本文提出了一个框架来共同研究任务表现和短语的关联，并提出了三个基准来研究二者之间的关系。我们的研究结果显示，现有模型在关联短语和解决任务方面存在不一致性。我们展示了如何通过对关联短语注释进行穷举式训练来解决这个问题，并分析了它所产生的动态性。

    Sep, 2023

  • 通过可变上下文将指代表达式与图像联系起来

    本文提出了一种变分贝叶斯方法，名为变分语境，用于解决指代表达的复杂上下文建模问题，在具有监督学习和无监督学习的情况下对各种基准进行广泛实验，都得到了优秀的结果。

    Dec, 2017

  • 多模态视觉语言模型中的基于实体的视觉空间推理

    利用大规模视觉语言模型评估其在不同视觉推理任务中的性能，特别是在理解空间关系方面的能力的研究。通过细粒度的组合性先验来解决空间关系推理任务的评估和排名，结合物体及其位置的核心语义来计算空间子句的最终评分，并比较不同视觉语言模型在空间关系推理方面的能力。

    Aug, 2023

  • 野外环境下的图结构指称表达推理

    本研究提出了基于场景图的模块化网络 (SGMN) 来解决指代表达式的 grounding 问题，并且设计出了一个大规模实验数据集 Ref-Reasoning，证明了该方法在这个数据集上的优越性。

    Apr, 2020

  • 指代表达中的上下文建模

    本研究旨在使用更好的视觉上下文测量标准，将对象识别和自然语言表达结合起来，从而提高对象识别和自然语言表达模型的性能。在 RefCOCO、RefCOCO+ 和 RefCOCOg 三个数据集上的评估表明，我们的方法对于对象指称生成和理解都具有优势。

    Jul, 2016

  • 变分上下文：利用视觉和文本上下文来确定指代表达式

    本研究采用变分贝叶斯方法来解决在图像中定位和链接指称表述时复杂上下文建模的问题，并考虑语义信息和上下文的相互关系以及在监督和非监督设置中的提高。

    Jul, 2019

  • 场景细化器：在图像中以形态水平为基础的主题定位

    通过对相关词汇、视觉和语言模型、形态学层面、人机模型不匹配以及微妙的语言特征的研究，该论文揭示了视觉和语言模型在捕捉形态学差异时存在的差异和模型的语法倾向。该研究方法不仅可以拓展到其他细微语言特征的测试，还可以进一步提取准确的关键词。

    Sep, 2023

  • 视觉解释基础（扩展摘要）

    本论文提出了一种新的模型，通过利用在生成的解释中的成分词的本地化接地来确保图像相关性，从而同时生成文本解释和图像。

    Nov, 2017