Oct, 2023

GMMFormer：基于高斯混合模型的 Transformer 用于高效部分相关视频检索

PDF
TL;DRPRVR 中，clip 建模对于捕捉文本和视频之间的部分关系至关重要。本文提出了 GMMFormer，一种基于高斯混合模型的 Transformer，通过隐式建模来解决 PRVR 方法的效率问题。此外，本文还提出查询多样性损失来区分相关的文本查询，使嵌入空间更加密集且含有更多语义信息。
partially relevant video retrievalclip modelinggaussian-mixture-modelimplicit clip modelingquery diverse loss
发现论文，激发创造
  • GMMFormer v2: 一个对部分相关视频检索问题具有不确定性意识的框架

    给定一个文本查询，部分相关视频检索（PRVR）旨在检索包含相关片段的未修剪视频。为了解决缺乏片段注释以及剪辑建模和文本 - 剪辑对应所带来的不确定性，我们提出了一个针对 PRVR 的具有不确定性感知能力的 GMMFormer v2 框架。通过改进 GMMFormer 的剪辑建模和文本 - 剪辑匹配，我们有效地解决了语义崩塌现象，并提高了文本和片段之间的准确对应。我们在三个 PRVR 基准上进行了大量实验和消融研究，展示了 GMMFormer v2 相对于过去的最佳方法竞争者的显着改进，以及不确定性感知文本 - 剪辑匹配在 PRVR 中的多样性。

    May, 2024

  • 部分相关性视频检索

    本文提出了一种名为部分相关视频检索的新的文本到视频检索子任务，并将其作为多实例学习问题来解决。作者构建了一个多尺度相似性学习网络，以同时学习剪辑尺度和帧尺度下的相似性，并在三个数据集上进行了全面的实验来证明该方法的可行性，还表明该方法可以用于改进视频语料库时刻检索。

    Aug, 2022

  • 大规模视觉语言模型学习用于高效和高性能的部分相关视频检索的超级图像

    提出一种高效和高性能的部分相关视频检索方法，通过使用超级图像、视觉编码和细调方法，实现了在 ActivityNet Captions 和 TVR 上的最佳性能。

    Dec, 2023

  • Priorformer: 一种具有内容和失真先验的用户生成内容问答方法

    对于用户生成内容（UGC）视频，现有的盲目视频质量评估（BVQA）模型无法很好地适应复杂和多样的退化和内容，因此我们提出了一种新颖的预先增强的感知视觉变换（PriorFormer）用于 UGC 的 BVQA，该模型能够提升对不同内容和退化的适应性和表示能力，并在包括 KoNViD-1K、LIVE-VQC 和 YouTube-UGC 在内的三个公共 UGC VQA 数据集上取得了最先进的性能。

    Jun, 2024

  • 提升视频语料库时刻检索的部分相关性增强

    视频语料库时刻检索～(VCMR) 是一项新的视频检索任务，旨在使用自然语言文本作为查询从大量未修剪的视频语料库中检索相关时刻。我们提出了一种提高 VCMR 的部分相关性增强模型～(PREM)，该模型通过专门的部分相关性增强策略，在视频检索和时刻定位两个子任务中取得了更好的性能。实验结果表明，该模型优于基准模型，在 VCMR 任务中达到了最新的性能水平。

    Feb, 2024

  • 利用多项选择题桥接视频文本检索

    该研究提出了一种新的预训练方法，利用多项选择问题建立视频和文本之间的语义联系以实现更高效的检索，其结果在不同实验设置下如零成本和微调等多种数据集上均优于现有方法。

    Jan, 2022

  • 面向模态的视频语料库时刻检索的伪查询生成

    本文提出了一种基于自监督学习的框架，通过生成基于视觉和文本信息的伪查询，利用多模式信息来定位视频片段，有效地解决了视频中存在的时序动态和多模式推理问题，并在实验中取得了竞争性的结果。

    Oct, 2022

  • 半参数视频文本生成

    通过对数据存储库中的视频采用非参数帧检索器进行预处理，将其与查询一起进行聚合，从而有效地表示长时间未修剪的视频的可扩展视频 - 语言建模新视角。在四个视频 - 语言数据集上达到了新的技术水平。

    Jan, 2023

  • GPTSee: 通过基于描述的相似特征增强时刻检索和亮点检测

    通过将生成的视频描述和查询语句在第二阶段的 Transformer 编码器 - 解码器中计算语义相似度并将高相似度的视频帧转换为位置信息，我们的方法在时刻检索和重点检测任务中表现出色，超过了传统方法 Moment-DETR 的定位准确性。

    Mar, 2024

  • 视频检索的多模态 Transformer

    本文提出了一种基于多模态 transformer 架构的视频检索方法，该方法能够充分利用视频中的跨模态线索，并融合先前的时间信息。我们还研究了联合优化语言嵌入和多模态 transformer 的最佳实践。该方法在三个数据集上取得了最新的视频检索结果。

    Jul, 2020