该研究论文提出了一种统一的大规模视觉语言模型（LVLM），通过在语言特征空间中统一视觉表示，学习多模态交互，从而在图像和视频基准任务上取得了卓越性能。

Nov, 2023

Video-LLaVA 是第一个具有像素级定位能力且通过将音频转写为文本来丰富视频上下文理解的大型多模态模型，在视频中能够根据用户指令对对象进行时空定位，并在生成和问答任务中取得优异结果。

Nov, 2023

本文提出 LiteVL 模型，结合 BLIP 图像语言模型，通过使用动态时态缩放，给图像编码器添加时间注意力模块，并提出非参数池化机制，以自适应地重新加权文本条件下的细粒度视频嵌入，取得了良好的性能，即使没有进行任何视频 - 语言预训练。

Oct, 2022

本文提出了一种名为 VLAB 的新型视频 - 文本预训练方法，通过特征适应和融合扩展了 CLIP 的能力并构建统一的视频多模态模型，验证了其在视频文本检索、视频字幕生成和视频问答等高竞争任务中的有效性和多功能性。

May, 2023

本文提出了一种高分辨率和多样化的视频 - 语言预训练模型（HD-VILA），它利用一个混合 Transformer 学习丰富的时空特征以及文本特征的交互，取得了 10 个 VL 理解任务和 2 个文本到视觉生成任务的最新结果

Nov, 2021

我们提出了 VidLA，这是一种用于大规模视频 - 语言对齐的方法，通过在不同时间分辨率上使用一组数据令牌，以层次化的方式捕捉短程和长程的时间依赖关系，并通过简单的双塔架构，使用预训练的图像 - 文本基础模型来提高最终性能。此外，我们利用最近的 LLMs 构建了迄今为止规模最大的视频 - 语言数据集，包含不同长度的视频片段，以帮助在不同时间尺度下提取更好的表示。实验证明，我们的方法在多个检索基准上超过了现有的最先进方法，特别是在较长的视频上，并在分类基准上具有竞争力。

Mar, 2024

本文提出基于 adapter 的参数高效迁移学习技术，以 VL-BART 和 VLT5 为例，在图像文本和视频文本基准测试上统一多任务设置，通过权重共享提高 adapter 的效率和性能，在图像文本任务和视频文本任务中将 adapter 的使用提升至总参数的 4.18% 和 3.39%，匹配了整个模型微调的性能，同时对 adapter 与任务特定提示的组合及 V&L 预训练对 adapter 的影响进行了综合分析。

Dec, 2021

通过对多模态大型语言模型（MLLMs）的最新进展进行实证研究，本文介绍了一个名为 FreeVA 的研究，旨在以无需训练的方式将现有基于图像的 MLLM 扩展到视频领域。研究发现，仅利用离线图像 MLLM 而无需额外训练的 FreeVA，在零样本视频问答（例如 MSVD-QA、ActivityNet-QA 和 MSRVTT-QA）方面表现出色，甚至超过了涉及视频指令调整的最先进方法。此外，本文还指出，与根本不训练相比，利用广泛采用的 VideoInstruct-100K 进行视频指令调整并不会导致更好的性能。最后，本文强调评估指标在不同方式的比较中受 GPT API 版本变化的显著影响，如果忽略这一点，可能会影响研究者的分析和判断。

May, 2024

我们提出了一种高效的视频 - 语言对齐方法（VLAP），通过帧提示和蒸馏来实现。我们的 VLAP 模型以统一的方式解决了有效的帧采样和有效的跨模态对齐问题。与之前的工作相比，我们的 VLAP 模型在选择具有关键内容的关键帧的能力方面表现出色，从而提高了视频 - 语言对齐的准确性，同时降低了推理延迟。在视频问答基准测试中，我们的 VLAP 网络优于最先进的方法。

Dec, 2023

针对预训练大规模 Transformer 模型在视频 - 语言建模任务中存在的存储成本高和训练不稳定等问题，本文提出了一种轻量级适配器方法，通过引入循环计算和部分最优传输来捕捉视频帧和文本单词之间的时间关系，以及保留任务相关信息，并在多个低资源时间语言定位和视频 - 语言概括基准测试中取得显著优于现有的微调策略的效果。

Dec, 2023