本文提出了一种Hierarchical Alignment Network框架，通过把视频和文本分解成三个层次，即事件-动作-实体水平，并在个体-局部-全局层次上构建层次表示，捕捉视频和文本之间的从精细到粗略的对应关系，从而最大化利用三个语义层次的互补信息，以实现视频文本检索和匹配任务的高效和精度。实验结果表明，所提出的框架在两个公共数据集上优于其他最先进的方法，证明了层次表示和匹配的有效性。

Jul, 2021

本文提出了一种时间对齐网络，能够对长期视频序列和关联文本句子进行处理，使用了一种新颖的共同训练方法来减少噪音并训练原始指导视频，应用于多个视频理解任务，包括文本-视频检索和弱监督视频动作分割等，获得了更好的性能。

Apr, 2022

本文着眼于视频和语言之间的语义联系，提出了一种多级对齐训练方案，基于信息相似性从高层次的上下文到细粒度的语义，通过对称损失来对齐视频和语言的编码，从而在共享特征空间中确保相似信息紧密编码而不同语义的信息保持分开。我们的多级对齐训练可应用于各种视频和语言接地任务。连同任务特定的训练损失，我们的框架在多个视频 QA 和检索数据集上实现了与先前现有技术的可比较性能。

Apr, 2022

本文提出了通过图像和语言模型进行少样本学习的视频语言学习器（VidIL），它在视频描述、视频问答、视频描述检索和视频未来事件预测等多种视频语言任务中表现出强大的性能，并且能够在使用上下文中的几个例子来生成目标输出，进而大大提高视频未来事件预测的准确率。

May, 2022

我们提出了一种称为LanguageBind的方法，通过冻结VL预训练得到的语言编码器，然后使用对比学习训练其他多模态编码器，实现多模态语义对齐，同时我们还提出了VIDAL-10M数据集用于此目的，经过在该数据集上的预训练，我们在零样本视频文本检索方面优于ImageBind 1.2％ R@1，并且在零样本视频，音频，深度和红外理解任务方面也取得了显著改进。

Oct, 2023

通过介绍VideoCon，我们的研究在应对视频字幕中语义上合理的对比变化方面改进了视频-语言对齐模型的鲁棒性，提出了一个广泛的对比失配频谱，并通过一个大规模语言模型构建了基于对比视频字幕的VideoCon对齐数据集，我们的对齐模型在人为生成的对比字幕上在视频-语言对齐任务中的AUC指标上有了12个百分点的提升，同时在诸如文本到视频检索（SSv2-Temporal）和视频问答（ATP-Hard）等时间广泛的视频-语言任务中表现出了零-shot的最新性能。

Nov, 2023

我们提出了一种高效的视频 - 语言对齐方法（VLAP），通过帧提示和蒸馏来实现。我们的VLAP模型以统一的方式解决了有效的帧采样和有效的跨模态对齐问题。与之前的工作相比，我们的VLAP模型在选择具有关键内容的关键帧的能力方面表现出色，从而提高了视频 - 语言对齐的准确性，同时降低了推理延迟。在视频问答基准测试中，我们的VLAP网络优于最先进的方法。

Dec, 2023

该论文介绍了一种名为TOPA的新方法，通过使用现有的大型语言模型（LLM）自动生成模拟真实视频-文本数据的连续文本帧，进而预对齐一种仅使用语言的LLM与视频模态之间的差距，并利用CLIP模型作为特征提取器来对齐图像和文本模态，从而实现了视频内容与LLMs的对齐。经过广泛实验证明，TOPA是一种有效而高效的框架，可与视频理解任务相结合，并达到与GPT-3.5基于视频代理相当的性能。

May, 2024

本研究解决了多模态基础模型在处理长上下文时的局限。提出的LongVILA是一种全栈解决方案，通过引入多模态序列并行系统和五阶段模型训练流程，显著提高了长视频的上下文处理能力。实验结果表明，LongVILA在长视频字幕生成方面的分数提高了1.6倍，表明其在视觉语言模型技术上的重要潜力。

Aug, 2024

该研究解决了视频语言模型在处理语言与时空数据复杂关系时存在的不足，提出了一种通过对象轨迹进行细粒度对齐的新方法PiTe。研究结果显示，该方法在众多视频相关的多模态任务中显著超越了现有最先进的方法，展现出良好的应用潜力。

Sep, 2024