用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

Jun, 2024

我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。

Sep, 2023

利用多模态大型语言模型 (MLLM) 的视觉文本理解能力，本研究以 MLLM 作为视频的叙述者，生成视频的文本描述，从而减少模态不平衡并提高时间定位的准确性。通过获取视频每个时间戳的文本叙述并构建带有时间信息的结构化文本段落，与视觉内容进行时间对齐。然后，将时间感知的叙述和相应的视频时间特征进行跨模态特征融合，生成语义增强的视频表示序列用于查询定位。接下来，引入了一种单模态的叙述 - 查询匹配机制，鼓励模型从上下文连贯的描述中提取互补信息，以改善检索效果。该方法在两个基准测试上进行了广泛实验，证明了其有效性和普适性。

Jun, 2024

本文提出了一种用于跨域视频时刻检索的 Multi-Modal Cross-Domain Alignment 网络以及三个模块：域对齐模块、跨模态对齐模块和特定对齐模块，通过联合训练这些模块，实现域内不变和语义对齐的跨模态表示。

Sep, 2022

提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

Jun, 2023

通过提升视频模态和文本模态的特征，Modal-Enhanced Semantic Modeling（MESM）框架在视频短片检索中实现了更平衡的对齐，填补了形式上不平衡的模态差距。实验证明该框架在多个基准测试上取得了显著的泛化能力和最佳效果。

Dec, 2023

近年来，多媒体内容的爆炸性增长使得自然语言视频本地化成为一个关键性的问题。本文引入了一个大规模视频时刻检索（MVMR）任务，用于从大量视频中定位视频帧。我们提出了一种构建数据集的方法，并介绍了三个 MVMR 数据集。针对这个任务，我们还开发了一个强大的模型，即可靠的互补匹配网络（RMMN），该模型通过对准确有效的负样本进行对比学习来提高鲁棒性。实验结果表明，与现有的 NLVL 模型相比，我们的模型在 MVMR 任务中表现出显著的性能优势。

Aug, 2023

本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

Nov, 2019

视频时刻检索旨在定位与给定语言查询相对应的视频时刻，本文提出了一种名为 Scene Complexity Aware Network (SCANet) 的检索系统，它能够衡量每个视频中多个场景的 ' 场景复杂性 '，并生成适应每个视频场景复杂性的自适应提案，实验证明其在三个检索基准（Charades-STA、ActivityNet、TVR）上取得了最先进的性能，并展示了结合场景复杂性的有效性。

Oct, 2023

该研究提出了一种名为 DiffusionVMR 的提议无关框架，通过将视频时刻检索重新构想为去噪生成过程，直接从噪声中采样随机时段作为候选，并引入去噪学习以确定目标时刻。实验证明 DiffusionVMR 相比现有方法具有更高的效果。

Aug, 2023