Sep, 2023

视觉和语言模型中短语定位和任务表现的联合研究

PDF
TL;DR通过在图像环境中关联文字和短语到图像区域，本文提出了一个框架来共同研究任务表现和短语的关联，并提出了三个基准来研究二者之间的关系。我们的研究结果显示，现有模型在关联短语和解决任务方面存在不一致性。我们展示了如何通过对关联短语注释进行穷举式训练来解决这个问题，并分析了它所产生的动态性。
reasoningnatural languagevisual contextsgroundingtasks
发现论文，激发创造
  • 视觉解释基础（扩展摘要）

    本论文提出了一种新的模型，通过利用在生成的解释中的成分词的本地化接地来确保图像相关性，从而同时生成文本解释和图像。

    Nov, 2017

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017

  • 文本短语重建图像基础

    通过采用注意力机制来重构给定的短语，本论文提出了一种新的接近无监督学习的方法来学习 grounding，该方法不需要太多的地面实时监督，有效提高了在 Flickr 30k 实体数据集上的表现。

    Nov, 2015

  • 无监督视觉 grounding 的学习：通过语义自监督

    本文提出了一种新型的无监督视觉基础框架，使用概念学习作为代理任务来获得自我监督，以鼓励模型定位和解释语义属性，在多项实验中，该方法在图像本体库、ReferItGame 数据集上分别提升了 5.6% 和 5.8%，在 Flickr30k 数据集上达到了与最先进的表现相媲美的水平。

    Mar, 2018

  • 多模态视觉语言模型中的基于实体的视觉空间推理

    利用大规模视觉语言模型评估其在不同视觉推理任务中的性能，特别是在理解空间关系方面的能力的研究。通过细粒度的组合性先验来解决空间关系推理任务的评估和排名，结合物体及其位置的核心语义来计算空间子句的最终评分，并比较不同视觉语言模型在空间关系推理方面的能力。

    Aug, 2023

  • 话语不够，次序至关重要：关于视觉指称表达的鲁棒性

    该论文研究了视觉指代表达识别这一挑战性任务，发现现有方法未能充分利用语言结构，提出了两种增强其健壮性的方法，并提供了数据集以供使用。

    May, 2020

  • 视觉基准帮助在低数据环境中学习词义

    通过对具有意义的监督的视觉数据进行训练，我们发现在具有限定语言数据的情况下，视觉监督可以提高词汇学习的效率，但这种改进是有限的，并且当前的多模态建模方法未能有效利用视觉信息以构建更具人类特征的词汇表示。

    Oct, 2023

  • 基于综合图像 - 语言线索的短语定位和视觉关系检测

    该论文提出了一种利用大量语言和视觉线索定位或落实图像中短语的框架，该系统在 Flickr30k 实体数据集的短语定位和斯坦福 VRD 数据集的视觉关系检测上取得了最先进的性能。

    Nov, 2016

  • Q-GroundCAM: 通过 GradCAM 度量视觉语言模型中的基准化能力

    Vision and Language Models (VLMs) have remarkable zero-shot performance, but struggle with compositional scene understanding and linguistic phrase grounding. This paper introduces novel quantitative metrics using GradCAM activations to evaluate pre-trained VLMs' grounding capabilities and measure their uncertainty, revealing tradeoffs between model size, dataset size, and performance.

    Apr, 2024

  • 语言与视觉：基于场景的词语和句子嵌入研究

    本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法，使得即使对于抽象词，我们也能生成受视觉基础支撑的嵌入，并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词，还有益于抽象词。

    Jun, 2022