Sep, 2021

CONQUER: 视频语料库时刻检索的上下文查询感知排序

PDF
TL;DR本文提出一种名为 CONQUER 的模型，通过融合多模态视频内容、进行双向注意力以及完全利用查询上下文等方式实现视频检索任务的精确定位和排序。通过实验发现，将视频和查询在线上联合表示可以更好地捕捉多模态信号来提升检索效果。
video corpus moment retrievalconquer modelmulti-modal fusionmoment localizationquery context
发现论文，激发创造
  • 基于查询的视频时刻检索中的隐含挑战揭示

    本文旨在评估当前 benchmark 数据集反映真实查询基于片段检索的进展的能力，指出了目前数据集存在的偏差。作者同时提出了新的实验方法，以便更好地可视化结果，并在最后展望了未来的研究方向与改进。

    Sep, 2020

  • 基于语义补全网络的弱监督视频时刻检索

    本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

    Nov, 2019

  • 提升视频语料库时刻检索的部分相关性增强

    视频语料库时刻检索～(VCMR) 是一项新的视频检索任务，旨在使用自然语言文本作为查询从大量未修剪的视频语料库中检索相关时刻。我们提出了一种提高 VCMR 的部分相关性增强模型～(PREM)，该模型通过专门的部分相关性增强策略，在视频检索和时刻定位两个子任务中取得了更好的性能。实验结果表明，该模型优于基准模型，在 VCMR 任务中达到了最新的性能水平。

    Feb, 2024

  • 视频中基于查询的时刻检索的跨模态交互网络

    本文提出一种新颖的交叉模态交互网络 (CMIN)，通过语法图卷积网络，多头自注意力和多阶段跨模态交互，综合考虑语言查询的句法结构、视频上下文语义依赖关系和跨模态交互，提高了视频检索准确性。

    Jun, 2019

  • 通过丰富的上下文和区分特征嵌入检索拼接视频

    使用详细的语言描述来显式编码特定查询背景信息和学习视觉、文本和视觉文本的判别嵌入，以更准确地检索匹配的目标视频的新型 CoVR 框架。

    Mar, 2024

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 面向模态的视频语料库时刻检索的伪查询生成

    本文提出了一种基于自监督学习的框架，通过生成基于视觉和文本信息的伪查询，利用多模式信息来定位视频片段，有效地解决了视频中存在的时序动态和多模式推理问题，并在实验中取得了竞争性的结果。

    Oct, 2022

  • 利用现有资源：使用协同信息源提取视频表示

    该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

    Jul, 2019

  • 事件感知视频语料库时刻检索

    基于 EventFormer 的视频语义检索模型，在 Video Corpus Moment Retrieval（VCMR）任务中实现了最新的成果。

    Feb, 2024

  • 基于文本的视频语料库中的时刻定位

    本文提出了一种 Hierarchical Moment Alignment Network 方法，该方法基于文本查询，可以在视频语料库中检索相关视频，并对视频中的时刻进行定位。实验结果表明该方法在三个基准测试集上实现了令人满意的性能表现。

    Aug, 2020