本文提出了一种新形式的多模态视频注释方法：基于视频的定位叙事。在此方法中，注释员不仅可以说出视频中发生的事件，而且还可以使用鼠标追踪分段来定位句子的表示部分。同时，作者采用了该方法对三个数据集中的 20,000 个视频进行了注释，并提供了视频故事理解和视频问题回答任务的评测基准以及来自强基准模型的参考结果。

Feb, 2023

本文针对语音与图像之间的语义关联关系，探讨了不需要传统监督方式的神经网络模型，并使用了 Places 205 和 ADE20k 数据集来验证模型，在不太需要标签、分割或模态对齐的情况下可以实现语音和图像的自动检索、详细定位以及进行时间、空间上的隐含的物体和单词检测。

Apr, 2018

使用局部可见的常识模型来训练视觉 - 语言模型以支持图像内部推理。

Dec, 2023

本文提出了一种名为 LocTex 的计算机视觉方法，它利用了低成本的本地化文本标注和鼠标轨迹，通过对图像和标题的对比预训练和监督跨模态关注图，从而提供粗略的本地化信号，从而减少标注数据的数量。它学习到的视觉特征可以捕捉自由形式的标题的丰富语义和鼠标轨迹的准确本地化，可以转移到各种下游视觉任务中，并且比 ImageNet 的监督预训练方法可以将预训练数据集的大小缩小 10 倍或目标数据集的大小缩小 2 倍，同时在 COCO 实例分割上实现可比较甚至更高的性能。在拥有相同数量的注释的情况下，LocTex 在 PASCAL VOC 图像分类任务上比以前最先进的 “视觉 + 语言” 预训练方法提高了约 4% 的准确性。

Aug, 2021

本研究探讨了如何使用大型语言模型进行定位任务，包括词语对应定位和参照定位，通过模型的输入和输出使用位置作为参数来生成图像描述，实现稠密单词定位，并在多个视觉和语言任务中达到了最先进的性能。

Dec, 2023

提出了基于 Local Narratives 数据集和 TReCS 模型的图像文本生成方法，在视觉的基础上，利用分割掩模等技术实现了更好的图像合成效果。

Nov, 2020

本文提出了一个统一的框架来综合地模拟图像、文本和人类注意力轨迹，并设计了两个任务，即视觉基础任务和图像生成任务。该模型架构同时训练于两个任务上，使用了本文设计的局部二分匹配距离度量方法来评估生成的轨迹的质量，并在完整实验中得出了模型优于基线的结论。此外，我们还证明了预训练的模型对 COCO 的引导图像字幕的下游任务也有积极的效果。

May, 2021

研究采用图像和描述性文本的多模态共指消解，在细粒度的图像 - 文本对齐、叙述语言的内在歧义和缺乏大规模标注数据集的条件下，提出了一种数据效率的半监督方法，用于解决多模态背景下的共指消解和叙述依托问题，通过跨模态框架结合有标注和无标注数据的损失优化，实验证明该方法在共指消解和叙述依托任务上的性能优于强基线模型。

Oct, 2023

本文提出了一种用于自动生成图像描述的新方法：使用从图像标题数据集中直接学习的视觉探测器、语言模型和多模式相似模型。

Nov, 2014

该论文提出了一种利用大量语言和视觉线索定位或落实图像中短语的框架，该系统在 Flickr30k 实体数据集的短语定位和斯坦福 VRD 数据集的视觉关系检测上取得了最先进的性能。

Nov, 2016