Dec, 2023

跨模态对比学习与非对称协同注意网络在视频时刻检索中的应用

HTML
PDF
TL;DR视频时刻检索是一项具有挑战性的任务，需要视频和文本模态之间的精细交互。我们评估了一个最近提出的解决方案，在视频 grounding 任务中引入了不对称协同注意力网络，并在两个模态中加入了动量对比损失，其整合效果在 TACoS 数据集上表现更好，并在 ActivityNet Captions 上表现可比的结果，而且相对于基线模型，参数数量显著减少。
发现论文，激发创造
  • 从文本查询中弱监督的视频片段检索

    本文提出了一种学习弱标签的方法来解决文本-视频片段检索问题，并使用基于文本引导的注意力机制学习视频中的相关片段，该方法在两个基准数据集上获得了与监督式学习方法相当的性能。

    Apr, 2019

  • 视频中基于查询的时刻检索的跨模态交互网络

    本文提出一种新颖的交叉模态交互网络 (CMIN)，通过语法图卷积网络，多头自注意力和多阶段跨模态交互，综合考虑语言查询的句法结构、视频上下文语义依赖关系和跨模态交互，提高了视频检索准确性。

    Jun, 2019

  • 视频片段检索的逐帧跨模态匹配

    本文提出了一种基于交互建模的专注跨模态相关性匹配（ACRM）模型，用于预测时间边界，并通过内部帧进行模型训练以提高定位精度，通过在TACoS和Charades-STA数据集上进行的实验表明，ACRM模型优于几种最先进的方法。

    Sep, 2020

  • 一种简单而有效的视频时间对齐方法，具有交叉模态注意力

    本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块(CMA)和针对此任务的新回归损失函数来提高定位精度，并在Charades-STA和ActivityNet Captions数据集上超越了目前最先进的方法。

    Sep, 2020

  • HiT：层次化动量对比视频-文本检索的Transformer模型

    提出了一种新的名为Hierarchical Transformer (HiT)的方法，其中包括Hierarchical Cross-modal Contrastive Matching和Momentum Cross-modal Contrast的元素，以解决现有交叉模式Transformer方法存在的局限性，并在三个主要的Video-Text检索基准数据集上实现了优越的实验结果。

    Mar, 2021

  • 对比学习视频语料库瞬间检索

    本文提出了一个可用于视频语料库时刻检索的检索和定位网络，采用对比学习优化视频编码器和文本编码器，从而实现视频轮廓时序信息检索。该方法效率高且具有可比性。

    May, 2021

  • 双模态注意力增强的文本-视频检索与三元局部对比学习

    通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本-视频检索的性能。

    Sep, 2023

  • 视频表示学习中基于相关性引导的查询依赖校准用于时间标定

    设计了一种基于相关性引导的检测变换器（CG-DETR），通过自适应的交叉关注层、推断视频剪辑和单词之间的细粒度相关性以及视频剪辑的文本参与度，对视频和文本查询之间的模态差距进行强大的跨模态交互，提高了瞬间检索和精彩时刻检测的性能。

    Nov, 2023

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024

  • 跨多领域标签的混合学习视频时刻检索

    用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

    Jun, 2024