通过采用注意力机制来重构给定的短语，本论文提出了一种新的接近无监督学习的方法来学习 grounding，该方法不需要太多的地面实时监督，有效提高了在 Flickr 30k 实体数据集上的表现。

Nov, 2015

文章提出了一种弱监督方法，该方法以图像-句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

May, 2017

本文提出了一种基于图像的短语 grounding 方法，基于一个端到端模型的多重条件嵌入来实现。为了将文本短语划分为语义上的不同子空间，我们提出了一个概念权重分支，可以自动将短语分配到嵌入，而不是像传统方法一样预先定义这些分配。我们的方法简化了个体嵌入的表征需求，并允许未被充分表示的概念在输入到概念特定层之前充分利用共享表示。在三个短语 grounding 数据集上的综合实验验证了我们方法的有效性，从而获得了强大的区域-短语嵌入基线 4％，3％和4％ 的性能改进。

Nov, 2017

本文提出了一种基于LSTM堆叠的序列上下文模型(SeqGROUND)进行短语映射及其在模型架构设计上的有效性的验证，并在Flickr30K基准数据集上展示了具有竞争力的表现。

Mar, 2019

使用图像字幕对弱监督进行自由文本短语连接的问题展开研究，提出了一种新颖的端到端模型，并使用字幕到图像检索作为“下游”任务来指导短语定位的过程。

Mar, 2019

提出一种基于单阶段模型的视觉 grounding 方法，将文本查询的嵌入与 YOLOv3 物体检测器融合，加入空间特征以处理查询中的空间提及，并实现端到端联合优化，实验表明此方法对于短语定位和指代表达理解具有很大的潜力，同时建议在一些常见的区域提议方法上进行细致研究并将视觉 grounding 作为从传统双阶段方法向单阶段框架的范例转移

Aug, 2019

本文目的在于通过学习一种中间的representation space将视觉信息转移到文本表示中，以解决由于一个视觉场景可以有多种描述方式所导致的文字表示和学习中的问题，作者还提出了两个新的目标，来保证相关元素之间的相似性跨领域地保持和提高分类和语义相关性任务的性能。

Feb, 2020

本研究提出了一种简单且非常有效的预训练词嵌入视觉对齐方法，使得即使对于抽象词，我们也能生成受视觉基础支撑的嵌入，并且在一系列的单词相似性基准测试中证明了视觉基础支撑不仅有益于具体词，还有益于抽象词。

Jun, 2022

本文提出了一种新的跨模态视觉语言理解任务，此任务扩展了旧的名词短语 grounding 任务，加入了代词，并通过基于图卷积网络的指代消解信息来提高定位性能，实验结果表明，相比名词短语，代词定位更容易，模型表现也有显著提升。

Oct, 2022

本研究解决了多模态大语言模型（MLLMs）在实例级视觉语言问题上的局限性，提出了一种新的任务“多上下文视觉定位”。通过构建包含2K高质量标注样本的MC-Bench数据集，为评估MLLMs的能力提供了基准，研究发现现有MLLMs在多图场景下的表现显著低于人类，推动相关领域的进一步研究。

Oct, 2024