Apr, 2024

ProTA：文本 - 视频检索的概率化令牌聚合

PDF
TL;DR提出 Probabilistic Token Aggregation (ProTA) 方法来处理内容不对称的跨模态交互，通过双重关联聚合、基于令牌的概率对齐和自适应对比损失，在 MSR-VTT、LSMDC 和 DiDeMo 数据集上取得显著改进。
text-video retrievalprobabilistic token aggregationcross-modal interactionspatial-temporal relationsadaptive contrastive loss
发现论文，激发创造
  • 文本自适应的多视觉原型匹配用于视频检索

    本文提出了一种文本自适应多视觉原型匹配模型，通过自适应聚合视频标记特征来描述视频，以解决视频和文本之间的关联模糊问题，而且此方法表现优于当前公共视频检索数据集上的最新技术。

    Sep, 2022

  • TESTA: 长篇视频 - 语言理解的时间空间令牌聚合

    通过引入一种高效的方法 TESTA，我们提出了一个预训练视频语言模型，该模型在每个视频编码器块中配备了一个分割的时空令牌聚合模块，从而减少了可视令牌数量并提高了计算效率。

    Oct, 2023

  • RaP：红 undancy-aware 视 deo-language 预 ning 练词为 Text- 视 deo 检索

    通过测量视频补丁和文本单元的冗余度，我们提出了一种针对视觉和文本信息之间互模态冗余问题的视频语言预训练方法，并通过冗余感知对比学习获得了显著的结果提升。

    Oct, 2022

  • 跨媒体语言 - 视频注意力 X-Pool 在文本 - 视频检索中的应用

    提出了一种名为 X-Pool 的跨模态注意力模型，用于在文本和视频之间进行推理，从而提取重要的视觉线索。通过使用一个标度点乘的注意力机制，允许文本关注其最语义相似的帧，并生成基于文本的帧的注意力权重的聚合视频表示。在 MSR-VTT、MSVD 和 LSMDC 三个基准数据集上进行评估，实现了相对提高 Recall@1 高达 12% 的新的最佳效果。

    Mar, 2022

  • TACo: 基于 Token 的级联对比学习，用于视频文本对齐

    本文提出一种名为 Token-Aware Cascade 的算法，使用两种新技术来改进对比学习，包括考虑单词的语法类别的 token-aware 对比损失和应用级联采样方法用于有效评估多模态融合层的损失。实验证明，Token-Aware Cascade 算法在文本 - 视频检索、视频动作定位和视频动作分割等下游任务中表现卓越，超过了以往的方法，成为了 YouCook2、MSR-VTT 和 ActivityNet 等三个公共文本 - 视频检索基准数据集的新的表现最佳算法。

    Aug, 2021

  • 面向文本到视频检索的语义角色感知相关性变换器

    该论文提出了一种新型的 Transformer 模型，将文本和视频显式分离，通过注意力机制了解三种角色的内部和内部角色之间的相关性，以在不同级别上寻找识别特征，初步结果表明，在所有的指标中，我们的方法都超过了当前最先进的方 法，在两个指标上也超过了两种最先进的方法。

    Jun, 2022

  • 双模态注意力增强的文本 - 视频检索与三元局部对比学习

    通过改进对比学习方法，引入新的技术，分别利用文本和视觉线索，从中挖掘出困难负样例，并且能够自适应地确定它们对训练损失的影响；同时，通过构建部分有序三元组样本来模拟细粒度语义相似性，以提高文本 - 视频检索的性能。

    Sep, 2023

  • 基于稀疏相关适配器的高效文本 - 视频检索

    使用一种称为 RAP 的稀疏且相关的 AdaPter 模型，通过在少数参数化层上进行预训练模型的微调，以提供高效的文本视频检索。RAP 配备了两个必要特征：时间稀疏性和相关性建模。通过引入低秩调制模块和异步自注意力机制，RAP 能够在四个文本视频检索数据集上表现出优越或可比较的性能。

    May, 2024

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • 跨模态对比学习与非对称协同注意网络在视频时刻检索中的应用

    视频时刻检索是一项具有挑战性的任务，需要视频和文本模态之间的精细交互。我们评估了一个最近提出的解决方案，在视频 grounding 任务中引入了不对称协同注意力网络，并在两个模态中加入了动量对比损失，其整合效果在 TACoS 数据集上表现更好，并在 ActivityNet Captions 上表现可比的结果，而且相对于基线模型，参数数量显著减少。

    Dec, 2023