本论文提出一种基于多模态对齐、轨迹特征、层次化框架和训练数据扩充的视频问答方法，并在NExT-QA基准测试上表现出很高的性能。

Apr, 2022

本研究尝试通过博弈论的交互策略来实现细粒度的视频问答任务中的视觉语义对齐，无需过多的标注，相比现有方法，在长期和短期视频问答数据集上的效果有显著提升，并具有良好的泛化能力和在有限数据上的并行收敛能力。

May, 2023

提出了两种帧采样策略，即最主导帧（MDF）和最隐含帧（MIF），用于最大限度地保留对给定问题最重要的帧，验证实验结果表明这些策略能够提高图像-文本预训练模型的性能。

Jul, 2023

最近，基于语言模型的视频理解取得了令人瞩目的进展，这得益于大型语言模型（LLMs）的引入。然而，以往的研究重点主要集中在设计将视频特征映射到标记的投影层，这种方法既基础又低效。在我们的研究中，我们引入了一个最先进的框架VaQuitA，旨在提高视频和文本信息之间的协同作用。在数据层面上，我们采用由CLIP分数排名引导的采样方法，而不是均匀采样帧，这样可以更好地选择与给定问题相一致的帧。在特征层面上，我们将可训练的视频感知器与Visual-Query Transformer（简称VQ-Former）集成在一起，以增强输入问题和视频特征之间的相互作用。我们还发现，将一个简单的提示“Please be critical”加入LLM输入可以大大增强其对视频的理解能力。我们的实验结果表明，VaQuitA在零样本视频问答任务中始终保持着新的基准，并且能够与用户生成高质量的多轮视频对话。

Dec, 2023

Q-ViD 是一种简单的视频问答方法，通过使用一个单一的指令感知开放式视觉语言模型（InstructBLIP）来处理视频问答问题，生成视频帧描述，并结合一个大型语言模型（LLM）进行多项选择问答，取得了与当前最先进模型相媲美甚至更高的性能。

Feb, 2024

我们提出了VidLA，这是一种用于大规模视频-语言对齐的方法，通过在不同时间分辨率上使用一组数据令牌，以层次化的方式捕捉短程和长程的时间依赖关系，并通过简单的双塔架构，使用预训练的图像-文本基础模型来提高最终性能。此外，我们利用最近的LLMs构建了迄今为止规模最大的视频-语言数据集，包含不同长度的视频片段，以帮助在不同时间尺度下提取更好的表示。实验证明，我们的方法在多个检索基准上超过了现有的最先进方法，特别是在较长的视频上，并在分类基准上具有竞争力。

Mar, 2024

该研究提出了一种简洁而新颖的策略，利用图像网格的形式，将视频转化为单个复合图像，从而实现了对视频进行直接的高性能视觉语言模型的应用，无需任何视频数据训练，并在十个零样本视频问答基准中的九个基准中超越现有方法。

Mar, 2024

通过受到人类认知和学习模式的启发，我们提出了一种视频问题回答（VideoQA）的框架VideoDistill，该框架在视觉感知和答案生成过程中具有语言感知（即以目标驱动为特征）的行为，通过思考、观察和回答的方式生成与问题相关的显著图像。

Apr, 2024

长篇视频中的关键帧选择和顺序感知字幕生成能够显著减少信息冗余，我们提出的LVNet框架通过两种新的方法在LVQA基准数据集上实现了最先进的性能。

Jun, 2024

我们提出了一个模型无关的视频对齐和答案聚合框架（VA^3），通过整合视频对齐器和答案聚合器模块来增强现有的视觉问答方法的组合一致性和准确性，实验证明我们的框架提高了现有方法的组合一致性和准确性，大大提升了可解释性。

Jul, 2024