Nov, 2022

使用现成模型的零样本视频时刻检索

PDF
TL;DR我们提出了一种零样本简单方法来进行视频时刻检索任务，该方法不进行任何添加的精调，并且仅重新利用在其他任务上训练的现成模型。我们在 VMR 的 QVHighlights 基准上大大提高了以前零样本方法的性能，并将零样本与最先进的有监督方法之间的差距缩小了超过 74％。
machine learningfinetuningpretrained modelszero-shot approachvideo moment retrieval
发现论文，激发创造
  • 来自冻结视觉 - 语言模型的零样本视频时刻检索

    我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。

    Sep, 2023

  • 利用点级监督加速视频瞬间检索

    本文提出了一种名为 Cheaper and Faster Moment Retrieval（CFMR）的新方法，其基于点级别监督，并设计了一种基于概念的多模式对齐机制，旨在提高 VMR 的检索效率。此方法可有效解决现有 VMR 方法所存在的昂贵的时间注释、计算成本高、效率低等问题，并在 VMR 基准测试中取得了新的最佳性能。

    May, 2023

  • 基于查询的视频时刻检索中的隐含挑战揭示

    本文旨在评估当前 benchmark 数据集反映真实查询基于片段检索的进展的能力，指出了目前数据集存在的偏差。作者同时提出了新的实验方法，以便更好地可视化结果，并在最后展望了未来的研究方向与改进。

    Sep, 2020

  • DiffusionVMR：视频时刻检索的扩散模型

    该研究提出了一种名为 DiffusionVMR 的提议无关框架，通过将视频时刻检索重新构想为去噪生成过程，直接从噪声中采样随机时段作为候选，并引入去噪学习以确定目标时刻。实验证明 DiffusionVMR 相比现有方法具有更高的效果。

    Aug, 2023

  • 克服视觉和文本之间的弱对齐性以实现视频时刻检索

    提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

    Jun, 2023

  • 多模态大型语言模型对视频片段检索的惊人有效性

    利用图像 - 文本预训练的多模态大语言模型（MLLMs）进行时刻检索，获得了令人惊讶的有效性，并且在时刻检索和时序动作定位任务上实现了最新的性能。

    Jun, 2024

  • 跨多领域标签的混合学习视频时刻检索

    用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

    Jun, 2024

  • 基于语义补全网络的弱监督视频时刻检索

    本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

    Nov, 2019

  • 具有因果干预的视频时刻检索

    该研究提出了一种基于因果关系的视频时刻检索框架，利用 Deconfounded Cross-modal Matching（DCM）方法去除时刻位置的混淆效应，并在考虑所有可能的目标位置的情况下，公平地将查询和视频内容纳入模型中以提高准确性和泛化性能。

    Jun, 2021

  • 利用大型语言模型进行零样本音频主题重排序

    该研究项目探讨了使用视频片段作为信息检索的查询术语，而不是传统的文本查询，以实现更丰富的搜索模式，如图像、说话者、内容、主题和情感。研究重点是通过嵌入表示视频属性以支持大型存档的高速灵活搜索，并通过重新排序方法来缓解由此带来的性能损失。研究结果表明，使用大型语言模型的零样本重新排序方法可以在没有任何任务特定训练数据的情况下实现改进的检索排序。

    Sep, 2023