使用视觉语义角色标注的新框架，将视频表示为相关事件的集合，引入VidSitu基准进行语义角色标注，通过事件-事件关系连接事件，研究了视频语义角色标注的挑战性任务，并对数据集进行了全面分析，与其他公开可用的视频理解基准进行了比较，评估了视频识别模型。

Apr, 2021

通过提出atemporal probe模型，本文探讨了视频和语言任务中现有的模型的局限性和潜力，并发现即使在面向较深层次视频理解的基准测试中，理解事件时间通常也不是实现强大或最新技术的性能所必需的。

Jun, 2022

本论文基于CLIP模型，提出了一种名为STAN的时空建模机制，用于将图像-文本预训练模型扩展到视频领域，并在视频文本检索和视频识别等多项任务中展现了其优越性。

Jan, 2023

我们提出了一个新的联合视频和文本摘要任务，旨在生成一个缩短的视频剪辑和相应的文本摘要，我们通过构建一个大规模的人类注释数据集-VideXum来解决此问题，并使用新的度量标准VT-CLIPScore来评估跨模态摘要的语义一致性。我们提出的VTSUM-BILP模型在此任务上取得了有希望的性能，并为未来研究建立了基准。

Mar, 2023

本文提出了一种名为VideoLLM的新框架，它利用了自然语言处理（NLP）预训练LLMs的序列推理能力来进行视频序列理解。通过精心设计的模态编码器和语义转换器，将不同来源的输入转换为统一的标记序列，然后将其馈入仅解码的LLM中。在实验中，作者评估了VideoLLM在多个任务上的表现，证明了LLMs的理解和推理能力可以有效地转移到视频理解任务中。

May, 2023

视频对象分割通过自然语言表达对视频序列中的参照物进行分割，提出了同时维护全局参照标记和一系列对象查询的方法，以实现对对象在帧级别的定位和分割，进而利用新颖的时间采集-分布机制来捕捉对象动态并进行时空交叉模态推理，实验结果表明，该方法在所有基准测试中始终显著优于最先进的方法。

Sep, 2023

通过引入全面的多模式视频理解基准(MVBench)，该研究提出了一种新的静态到动态方法，将静态任务转化为动态任务，评估多模式大型语言模型(MLLMs)的时间理解能力，并且开发了一种强大的视频MLLM基准模型VideoChat2，检验结果显示VideoChat2在MVBench上的性能超过其他领先模型15%以上。

Nov, 2023

通过一个多镜头视频理解基准（Shot2Story20K）的详细镜头级标题和全面视频摘要，提供了一种更好的视频语义理解方法，包括可视化信号和人类叙述的标题，摘要，检索以及摘要生成，这将显著提升现有视频理解任务的性能，并促进了视频理解中对详细摘要的未开发研究领域。

Dec, 2023

通过稠密和精确的字幕，在大视频-语言模型（LVLMs）的视频理解和文本-视频模型（T2VMs）的视频生成方面，我们提出了ShareGPT4Video系列，该系列包括40K GPT4V标注的各种长度和来源的视频稠密字幕，通过精心设计的数据过滤和注释策略进行开发，以及有效的任意视频字幕模型ShareCaptioner-Video和卓越的LVLM ShareGPT4Video-8B。

Jun, 2024

本研究针对现有视频基准在细粒度时间理解评估方面的不足，提出了TemporalBench这一新基准。通过约10,000对视频问答对，TemporalBench提供了独特的评估平台，揭示了当前先进模型在时间理解方面与人类之间存在显著差距（约30%）。该基准有助于推动模型在时间推理能力上的改进。

Oct, 2024