大规模视觉语言模型学习用于高效和高性能的部分相关视频检索的超级图像

Dec, 2023

大规模视觉语言模型学习用于高效和高性能的部分相关视频检索的超级图像

Large-scale Vision-Language Models Learn Super Images for Efficient and High-Performance Partially Relevant Video Retrieval

HTML

PDF

Taichi Nishimura, Shota Nakada, Masayoshi Kondo

TL;DR提出一种高效和高性能的部分相关视频检索方法，通过使用超级图像、视觉编码和细调方法，实现了在ActivityNet Captions和TVR上的最佳性能。

Abstract

In this paper, we propose an efficient and high-performance method for partially relevant video retrieval (PRVR), which aims to retrieve untrimmed long videos that contain at least one relevant moment to the input text query. In terms of both efficiency and performance, the overlooked

发现论文，激发创造

利用现有资源：使用协同信息源提取视频表示

该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

Jul, 2019

快与慢的思考：利用Transformer进行高效的文本-图像检索

本研究通过将视觉和文本独立地映射到联合嵌入空间中的双编码器方法和使用跨注意力的视觉文本变压器方法来进行大规模图像和视频数据集的基于语言的搜索，并将两种方法相结合，提高了检索准确性并确保了可扩展性，同时还引入了新的细粒度跨注意力架构，并通过蒸馏和重新排序结合了快速双编码器模型和缓慢但准确的变压器模型，并在Flickr30K图像数据集和VATEX视频数据集上验证了该方法。

Mar, 2021

凝固的时间：一种用于端到端检索的联合视频和图像编码器

本研究目标是视频文本检索-特别是一种联合嵌入，可以实现高效的文本到视频检索。作者们提出了一种端到端可训练的模型，旨在利用大规模的图像和视频字幕数据集。该模型是近期 ViT 和 Timesformer 框架的改进扩展，包括时间和空间方面的注意力机制。通过训练WebVid-2M数据集，作者们表明这种方法在标准下游的视频检索基准测试中取得了最先进的结果。

Apr, 2021

基于阅读策略的视觉表征学习用于文本至视频检索

本文主攻文本到视频检索任务中的视频表示学习，在此基础上提出了一种受人类阅读策略启发的视觉表征学习方法，经实验证明，在三个数据集上取得了最新的最优性能。

Jan, 2022

HiVLP: 面向快速图像-文本检索的分层视觉语言预训练

本文提出了一种用于快速图像-文本检索的Hierarchical Vision-Language Pre-Training（HiVLP）方法，具有快速推理速度和可扩展性，并能够在大规模检索场景下进行优化表现，在Flickr30k和COCO数据集上展示了+4.9AR和+3.8AR的性能优势。

May, 2022

来自冻结视觉-语言模型的零样本视频时刻检索

我们提出了一种零样本方法，可以从任意的视觉语言模型中获得可泛化的视觉文字先验，并利用条件特征细化模块和自下而上的提案生成策略来改善视频片段与文本的对齐，从而在视频片段检索中实现显著的性能优势。

Sep, 2023

数百万视频上的视觉语言模型蒸馏

本研究利用合成的教学数据对图像语言基准进行微调，生成高质量的视频标题，构建适应视频和语言的模型，并在多个视频-语言基准上取得了显著结果。