本文提出了一种针对视频进行自动化重点帧或子镜头选择的新型监督学习技术，其将问题视为顺序数据上的结构化预测问题，主要想法是利用 LSTM（长短时记忆），该专用网络类型可模拟视频摘要任务中包含的可变范围依赖性，详细分析证明了模型设计的合理性，通过引入领域适应技术，我们还介绍了应对训练复杂学习模型所需大量注释数据需求的技术。

May, 2016

通过使用单个时间戳作为廉价的注释来源，本研究提出了一种视频文本检索方法，其中初始视频片段边界从时间戳启动，并通过视频片段编辑方法进行改进，以提高检索性能。实验结果表明，通过编辑视频片段可以持续改善检索性能。

Feb, 2024

本文旨在将图像 - 文本模型应用于长视频检索，并通过查询打分的帧嵌入的加权平均作为时间建模有效基线，提出一种在长视频检索基准测试中表现卓越的改善方法。

May, 2022

基于 Atkinson-Shiffrin 记忆模型与 Transformer 中的记忆承载器，通过特殊设计的记忆机制，无需额外的可训练时序模块，使用零 - shot 方法将预训练的多模态大型语言模型应用于理解长视频，提出了 MovieChat，实现了长视频理解的最新性能，并发布了包含 1K 个长视频、2K 个时序对齐标注和 14K 个手动注释验证方法有效性的 MovieChat-1K 基准。

Apr, 2024

该论文提出了一种多任务强化学习的方法，用于训练端到端视频字幕生成模型，其主要思想是从人工字幕视频中挖掘并构建尽可能多的有效任务，以共同调节端到端神经网络的搜索空间，并得到泛化的视频字幕生成模型。实验结果表明，这种模型在两个基准视频字幕数据集上的表现都大大优于现有方法。

Mar, 2018

视频理解系统 MovieChat 利用大型语言模型和视频基础模型，通过引入记忆机制解决了处理长视频时的计算复杂性、内存开销和长期时间连接等挑战。

Jul, 2023

在视频持续学习中，我们提出了一种名为 SMILE 的新型重播机制，通过个体 / 单帧对有效视频持续学习进行了改进，并在 Kinetics、UCF101 和 ActivityNet 数据集上实现了最先进的性能，优于之前的最新技术达 21.49%。

May, 2023

本研究介绍了一种新颖的自监督表示学习方法，称为 Skip-Clip，该方法可以利用视频中的时间连贯性，用于训练模型进行视频未来的裁剪排序预测。研究结果表明，使用我们的方法学习到的特征是通用且可转移到下游任务的，并且在 UCF101 数据集上胜过随机初始化和使用 Inflated ImageNet 参数初始化的模型，跟领先自监督方法相比也取得了有竞争力的结果。

Oct, 2019

提出一种基于记忆的端到端网络进行行为预测与预测，表明使用动态内存训练历史可以显着提高预测性能。

Jan, 2019

本文提出 Efficient Video Learning (EVL) 框架，使用轻量级 Transformer 解码器和学习查询标记以从 CLIP 图像编码器中动态收集帧级空间特征，进一步采用每个解码器层中的局部时间模块来发现相邻帧及其注意力映射中的时间线索。尽管使用了以前的预训练图像模型，本研究表明 EVL 模型在各种视频识别数据集上都学习了高质量的视频表示方法。

Aug, 2022