ICCVOct, 2023

SCANet：面向弱监督视频时刻检索的场景复杂性感知网络

PDF
TL;DR视频时刻检索旨在定位与给定语言查询相对应的视频时刻，本文提出了一种名为 Scene Complexity Aware Network (SCANet) 的检索系统，它能够衡量每个视频中多个场景的 ' 场景复杂性 '，并生成适应每个视频场景复杂性的自适应提案，实验证明其在三个检索基准（Charades-STA、ActivityNet、TVR）上取得了最先进的性能，并展示了结合场景复杂性的有效性。
发现论文，激发创造
  • VLANet: 弱监督视频时刻检索的视频 - 语言对齐网络

    本文提出了一种弱监督方法（wVMR）进行视频瞬间检索，通过使用对齐网络实现了更清晰的注意力和更少的计算负荷，并使用对比学习来训练模型。

    Aug, 2020

  • 基于语义补全网络的弱监督视频时刻检索

    本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

    Nov, 2019

  • 利用点级监督加速视频瞬间检索

    本文提出了一种名为 Cheaper and Faster Moment Retrieval（CFMR）的新方法，其基于点级别监督，并设计了一种基于概念的多模式对齐机制，旨在提高 VMR 的检索效率。此方法可有效解决现有 VMR 方法所存在的昂贵的时间注释、计算成本高、效率低等问题，并在 VMR 基准测试中取得了新的最佳性能。

    May, 2023

  • 跨多领域标签的混合学习视频时刻检索

    用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

    Jun, 2024

  • 视频弱监督时序检索的正则化双分支提议网络

    该研究提出了一个正则化的双分支提议网络，以同时考虑针对具有语义相似内容的不同片段之间的内部对抗和不同样本之间的外部对抗，从而应用于视频帧检索中，具有良好的效果。

    Aug, 2020

  • LoGAN: 弱监督视频时刻检索的潜在图协同注意力网络

    本研究提出了一种新的共现学习框架 (Latent Graph Co-Attention Network)， 用于解决标注数据有限的情况下，如何更准确定位与自然语言查询相关的视频片段；通过实验发现，该方法相较以往方法取得了相当显著的进步

    Sep, 2019

  • 来自冻结视觉 - 语言模型的零样本视频时刻检索

    我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。

    Sep, 2023

  • 多场景视频查询和概述的共享语义空间发现

    公共空间 CCTV 安装的增长率导致了对自动化利用视频监控数据的方法的需求，包括场景理解、查询、行为注释和摘要。本文提出了一种分布式多场景全局理解的新框架，将监视场景按其解释彼此行为的能力进行聚类，并进一步发现每个聚类中共享与场景特定的活动的子集。在此基础上，我们展示了如何利用多场景结构化表示来改进常见的监控任务，包括场景活动理解、跨场景按示例查询、行为分类和视频摘要。

    Jul, 2015

  • 基于场景图的图像检索 -- CLEVR 数据集的案例研究

    本研究论文提出了基于神经符号方法，利用场景图像来进行文本图像检索的解决方案，并训练了一种可学习的图匹配算法来实现检索任务，并实现了一个基于交互式问答的迭代检索框架。

    Nov, 2019

  • DiffusionVMR：视频时刻检索的扩散模型

    该研究提出了一种名为 DiffusionVMR 的提议无关框架，通过将视频时刻检索重新构想为去噪生成过程，直接从噪声中采样随机时段作为候选，并引入去噪学习以确定目标时刻。实验证明 DiffusionVMR 相比现有方法具有更高的效果。

    Aug, 2023