提出一种高效和高性能的部分相关视频检索方法，通过使用超级图像、视觉编码和细调方法，实现了在 ActivityNet Captions 和 TVR 上的最佳性能。

Dec, 2023

视频语料库时刻检索～(VCMR) 是一项新的视频检索任务，旨在使用自然语言文本作为查询从大量未修剪的视频语料库中检索相关时刻。我们提出了一种提高 VCMR 的部分相关性增强模型～(PREM)，该模型通过专门的部分相关性增强策略，在视频检索和时刻定位两个子任务中取得了更好的性能。实验结果表明，该模型优于基准模型，在 VCMR 任务中达到了最新的性能水平。

Feb, 2024

用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

Jun, 2024

给定一个文本查询，部分相关视频检索（PRVR）旨在检索包含相关片段的未修剪视频。为了解决缺乏片段注释以及剪辑建模和文本 - 剪辑对应所带来的不确定性，我们提出了一个针对 PRVR 的具有不确定性感知能力的 GMMFormer v2 框架。通过改进 GMMFormer 的剪辑建模和文本 - 剪辑匹配，我们有效地解决了语义崩塌现象，并提高了文本和片段之间的准确对应。我们在三个 PRVR 基准上进行了大量实验和消融研究，展示了 GMMFormer v2 相对于过去的最佳方法竞争者的显着改进，以及不确定性感知文本 - 剪辑匹配在 PRVR 中的多样性。

May, 2024

本文提出了一种基于语义相似性的视频检索方法，它允许多个视频和标题被视为同等相关，并且排名的顺序不影响检索性能比较，同时，它还提出了多种估计语义相似性的方法，以适应大规模检索数据集。本文在三个常用视频检索数据集上分析了该方法的表现。

Mar, 2021

PRVR 中，clip 建模对于捕捉文本和视频之间的部分关系至关重要。本文提出了 GMMFormer，一种基于高斯混合模型的 Transformer，通过隐式建模来解决 PRVR 方法的效率问题。此外，本文还提出查询多样性损失来区分相关的文本查询，使嵌入空间更加密集且含有更多语义信息。

Oct, 2023

本研究介绍了一种新的多模式检索数据集，名为电视节目检索 (TVR)，它结合了视频和相关的字幕文本，其中包含 109K 个查询，每个查询与一个精确的时间窗口相关联，并且具有指示查询与视频或字幕相关性的查询类型标签。我们还提出了多模态时刻检索任务的一种新型跨模态时刻定位网络 (XML)，该模型采用了一种新颖的卷积起始和结束检测器 (ConvSE) 模型，具有更好的效率和性能。同时，我们还收集了描述 TVR 中各个标注时刻的相关信息，形成了一个新的多模式字幕数据集 TVC，两个数据集均可以公开获取。

Jan, 2020

我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。

Sep, 2023

本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

May, 2021

利用多模态大型语言模型 (MLLM) 的视觉文本理解能力，本研究以 MLLM 作为视频的叙述者，生成视频的文本描述，从而减少模态不平衡并提高时间定位的准确性。通过获取视频每个时间戳的文本叙述并构建带有时间信息的结构化文本段落，与视觉内容进行时间对齐。然后，将时间感知的叙述和相应的视频时间特征进行跨模态特征融合，生成语义增强的视频表示序列用于查询定位。接下来，引入了一种单模态的叙述 - 查询匹配机制，鼓励模型从上下文连贯的描述中提取互补信息，以改善检索效果。该方法在两个基准测试上进行了广泛实验，证明了其有效性和普适性。

Jun, 2024