区域语言模型 (RegionGPT) 是一种新的框架，通过改进视觉编码器的空间感知能力以及集成任务导向指令提示来实现复杂的区域级标题生成和理解，提高在复杂区域描述、推理、对象分类和引用表达理解等区域级任务上的性能。

Mar, 2024

本文提出了全局 - 局部时间表征（GLTR）的方法，以利用视频序列中的多尺度时间线索进行视频人物重新识别。这种方法通过对相邻帧中的短时时间线索进行建模，然后捕捉不连续帧之间的长期关系来构建。其中，短期时间线索是通过不同的时间扩张率平行膨胀卷积来表示行人的运动和外貌。利用时间自我注意模型来捕捉长期关系，以减轻视频序列中的遮挡和噪音。最终，通过简单的单流卷积神经网络将短期和长期时间线索聚合形成 GLTR。在四个广泛使用的视频 ReID 数据集上，GLTR 相对于基于身体部分线索或度量学习学习到的现有特征表现出显著的优越性。例如，在 MARS 数据集上，它取得了 87.02％的 Rank-1 精度，而且没有经过一次排序，优于目前的最新技术水平。

Aug, 2019

本研究设计了一种新颖的关系图学习框架，包括一种语言细化的场景图表示，探索细粒度的视觉概念，并解决了对象幻觉问题。实验结果表明，本方法可以生成更精细和准确的描述。

Dec, 2021

本文提出了一个视频字幕生成系统，包括一种新颖的基于对象关系图的编码器和一种有效的训练策略，其中使用了教师推荐学习方法和外部语言模型来解决长尾问题，并在多个基准测试中取得最好的性能，实验证明我们的系统是有效的。

Feb, 2020

该研究提出了一种联合框架解决视频自动生成字幕中的三个关键问题，包括融合时空信息增强物体建议、动态提取高语义级别的视觉词，以及生成字幕验证确保语义概念的有效保留。实验表明该方法在各种评价指标上都显著优于现有的自然语言生成模型。

Aug, 2021

研究了如何提高生成图片标题的准确性，通过设计全局和局部辨别性约束，使生成的标题更加精细化和具体化，并在 MS-COCO 数据集上进行了评估和自检实验。

Jul, 2020

提出一种基于 Hierarchical Graph Reasoning (HGR) 的模型，将 video-text matching 分解成全局到局部的语义层次；通过基于注意力的图推理生成层次化的文本嵌入，进而引导学习多样化和分层的视频表示，并通过整合不同的 video-text 层次的匹配来捕获全局和局部细节，从而实现视频和文本之间的交叉检索。

Mar, 2020

通过提出 Global-Local 语义一致性学习方法，该研究利用文本 - 视频预训练模型，实现在文本 - 视频检索中的高效性和效果提升。通过全局和局部交互模块实现粗粒度和细粒度的语义对齐，并引入一致性损失和多样性损失，达到概念对齐和生成更有区分性的概念的目的。实验结果表明，该方法在多个基准测试中具有优越的性能和高效率。

May, 2024

本文提出一种基于记忆增强的全局局部聚合（MEGA）网络，该网络融合了全局语义信息和局部定位信息，并通过新设计的长期记忆模块让关键帧可以获得比之前任何方法更多的内容，从而在 ImageNet VID 数据集上取得了最先进的性能。

Mar, 2020

我们提出了一个跨模态的动态提示调整方法，使用全局 - 局部注意机制对视频进行建模，通过仅调整 0.67％的参数，我们的方法在 MSR-VTT，VATEX，LSMDC 和 ActivityNet 数据集上优于或与完全微调方法相当。

Jan, 2024