Feb, 2024

提升视频语料库时刻检索的部分相关性增强

PDF
TL;DR视频语料库时刻检索～(VCMR) 是一项新的视频检索任务，旨在使用自然语言文本作为查询从大量未修剪的视频语料库中检索相关时刻。我们提出了一种提高 VCMR 的部分相关性增强模型～(PREM)，该模型通过专门的部分相关性增强策略，在视频检索和时刻定位两个子任务中取得了更好的性能。实验结果表明，该模型优于基准模型，在 VCMR 任务中达到了最新的性能水平。
video corpus moment retrievalpartial relevancemodality-specific nuancesmulti-modal collaborative video retrieverfocus-then-fuse moment localizer
发现论文，激发创造
  • 面向模态的视频语料库时刻检索的伪查询生成

    本文提出了一种基于自监督学习的框架，通过生成基于视觉和文本信息的伪查询，利用多模式信息来定位视频片段，有效地解决了视频中存在的时序动态和多模式推理问题，并在实验中取得了竞争性的结果。

    Oct, 2022

  • 事件感知视频语料库时刻检索

    基于 EventFormer 的视频语义检索模型，在 Video Corpus Moment Retrieval（VCMR）任务中实现了最新的成果。

    Feb, 2024

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 部分相关性视频检索

    本文提出了一种名为部分相关视频检索的新的文本到视频检索子任务，并将其作为多实例学习问题来解决。作者构建了一个多尺度相似性学习网络，以同时学习剪辑尺度和帧尺度下的相似性，并在三个数据集上进行了全面的实验来证明该方法的可行性，还表明该方法可以用于改进视频语料库时刻检索。

    Aug, 2022

  • 利用点级监督加速视频瞬间检索

    本文提出了一种名为 Cheaper and Faster Moment Retrieval（CFMR）的新方法，其基于点级别监督，并设计了一种基于概念的多模式对齐机制，旨在提高 VMR 的检索效率。此方法可有效解决现有 VMR 方法所存在的昂贵的时间注释、计算成本高、效率低等问题，并在 VMR 基准测试中取得了新的最佳性能。

    May, 2023

  • 视频片段检索的逐帧跨模态匹配

    本文提出了一种基于交互建模的专注跨模态相关性匹配（ACRM）模型，用于预测时间边界，并通过内部帧进行模型训练以提高定位精度，通过在 TACoS 和 Charades-STA 数据集上进行的实验表明，ACRM 模型优于几种最先进的方法。

    Sep, 2020

  • 具有因果干预的视频时刻检索

    该研究提出了一种基于因果关系的视频时刻检索框架，利用 Deconfounded Cross-modal Matching（DCM）方法去除时刻位置的混淆效应，并在考虑所有可能的目标位置的情况下，公平地将查询和视频内容纳入模型中以提高准确性和泛化性能。

    Jun, 2021

  • 迈向平衡对齐：视频时刻检索的模态增强语义建模

    通过提升视频模态和文本模态的特征，Modal-Enhanced Semantic Modeling（MESM）框架在视频短片检索中实现了更平衡的对齐，填补了形式上不平衡的模态差距。实验证明该框架在多个基准测试上取得了显著的泛化能力和最佳效果。

    Dec, 2023

  • 克服视觉和文本之间的弱对齐性以实现视频时刻检索

    提出一种名为 BM-DETR 的背景感知时刻检测变压器模型，通过利用负查询和周围的背景来考虑相关性并提高时刻灵敏度，从而提高视频时刻检索（VMR）的效果和泛化能力。

    Jun, 2023

  • 基于大型语言模型的上下文增强视频片段检索

    通过引入大型语言模型（LLMs）的广泛知识，我们提出了一种大型语言模型引导的时刻检索（LMR）方法，以改善视频上下文表示和跨模态对齐，从而实现准确的目标时刻定位。

    May, 2024