May, 2023

利用点级监督加速视频瞬间检索

PDF
TL;DR本文提出了一种名为 Cheaper and Faster Moment Retrieval（CFMR）的新方法，其基于点级别监督，并设计了一种基于概念的多模式对齐机制，旨在提高 VMR 的检索效率。此方法可有效解决现有 VMR 方法所存在的昂贵的时间注释、计算成本高、效率低等问题，并在 VMR 基准测试中取得了新的最佳性能。
video moment retrievalcheaper and faster moment retrievalpoint-level supervisionmultimodal alignment mechanismretrieval efficiency
发现论文，激发创造
  • 事件感知视频语料库时刻检索

    基于 EventFormer 的视频语义检索模型，在 Video Corpus Moment Retrieval（VCMR）任务中实现了最新的成果。

    Feb, 2024

  • 提升视频语料库时刻检索的部分相关性增强

    视频语料库时刻检索～(VCMR) 是一项新的视频检索任务，旨在使用自然语言文本作为查询从大量未修剪的视频语料库中检索相关时刻。我们提出了一种提高 VCMR 的部分相关性增强模型～(PREM)，该模型通过专门的部分相关性增强策略，在视频检索和时刻定位两个子任务中取得了更好的性能。实验结果表明，该模型优于基准模型，在 VCMR 任务中达到了最新的性能水平。

    Feb, 2024

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 跨多领域标签的混合学习视频时刻检索

    用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

    Jun, 2024

  • 来自冻结视觉 - 语言模型的零样本视频时刻检索

    我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。

    Sep, 2023

  • 面向模态的视频语料库时刻检索的伪查询生成

    本文提出了一种基于自监督学习的框架，通过生成基于视觉和文本信息的伪查询，利用多模式信息来定位视频片段，有效地解决了视频中存在的时序动态和多模式推理问题，并在实验中取得了竞争性的结果。

    Oct, 2022

  • 基于语义补全网络的弱监督视频时刻检索

    本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

    Nov, 2019

  • 使用现成模型的零样本视频时刻检索

    我们提出了一种零样本简单方法来进行视频时刻检索任务，该方法不进行任何添加的精调，并且仅重新利用在其他任务上训练的现成模型。我们在 VMR 的 QVHighlights 基准上大大提高了以前零样本方法的性能，并将零样本与最先进的有监督方法之间的差距缩小了超过 74％。

    Nov, 2022

  • 具有因果干预的视频时刻检索

    该研究提出了一种基于因果关系的视频时刻检索框架，利用 Deconfounded Cross-modal Matching（DCM）方法去除时刻位置的混淆效应，并在考虑所有可能的目标位置的情况下，公平地将查询和视频内容纳入模型中以提高准确性和泛化性能。

    Jun, 2021

  • 克服视觉和文本之间的弱对齐性以实现视频时刻检索

    提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

    Jun, 2023