Sep, 2018

FIVR：细粒度事故视频检索

PDF
TL;DR本文介绍了细粒度事件视频检索的问题，提出了一个包含多个检索任务的单一框架 FIVR，以及一个包含 225,960 个视频的大规模标注视频数据集 FIVR-200K，并报告了对该数据集进行的实验研究的结果，比较了五种最先进的方法，突出了当前问题的挑战。
fine-grained incident video retrievalvideo datasetretrieval pipelineannotationstate-of-the-art methods
发现论文，激发创造
  • 基于多模态深度学习在大规模实际数据集上的视频吸引力精细预测

    构建来自全球最受欢迎的视频网站的第一个细粒度视频吸引力数据集 FVAD，其中包含 1019 个剧集，涵盖不同类别和各种视频内容，用于研究细粒度视频吸引力预测问题，提出设计基于视听内容的不同顺序模型来进行视频吸引力预测，并证明了这些模型的有效性和必要性。

    Apr, 2018

  • 交互式视频检索与对话

    本研究介绍了一种基于交互对话的视频检索系统，能够帮助用户在包含许多类似的视频中快速准确地找到目标视频，并通过 AVSD 数据集的实验证明了系统的有效性。

    May, 2019

  • VRFP：利用网络图像和快速 Fisher 向量产品进行即时视频检索

    该研究提出了一种基于 Fisher Vector 的 VRFP 实时视频检索框架，利用基于 CNN 特征的单个 Fisher Vector 处理代表查询和每个数据库视频的检索 web 图像，可通过算法加速内积计算进行实时匹配，与标准表示法相比具有更好的准确性，并在自动检索方法方面优于现有技术。

    Dec, 2015

  • 多查询视频检索

    本篇论文主要探讨了多查询视频检索技术，可以有效弥补现有数据集中存在的不完善的注释问题，并提出了多个优化方法，以提高模型的检索能力及泛化性。

    Jan, 2022

  • 利用现有资源：使用协同信息源提取视频表示

    该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

    Jul, 2019

  • 高效且有效的文本到视频检索：基于粗粒度到细粒度的视觉表征学习

    通过多粒度视觉特征学习和二阶段检索体系结构，本研究提出了一种在检索效果和效率之间取得平衡的文本到视频检索方法，同时在训练阶段采用了参数无关的文本门控交互块和额外的 Pearson 约束来优化跨模态表示学习，从而实现了与当前最先进方法相媲美的性能，且速度快近 50 倍。

    Jan, 2024

  • CoVR：从网络视频字幕中学习组合视频检索

    通过自动数据集创建方法，我们提出了一个可扩展的 Composed Image Retrieval（CoIR）任务，使用由视频标题对生成的三元组，扩展任务范围到 Composed Video Retrieval（CoVR）。通过在庞大的数据库中挖掘具有相似标题的配对视频，并利用大型语言模型生成相应的修改文本，我们构建了 WebVid-CoVR 数据集，其中包含 1.6 百万个三元组。实验证明，在我们的数据集上训练 CoVR 模型可以有效迁移到 CoIR，提高了 CIRR 和 FashionIQ 基准测试中的最新性能。

    Aug, 2023

  • DVF: 提升鲁棒性和准确性的细粒度图像检索与检索指南

    本文提出了实用的细粒度图像检索模型设计指南，包括强调对象、凸显子类别特异性差异以及采用有效的训练策略。通过遵循指南并设计了一种新颖的双重视觉过滤机制（DVF），本文在三个广泛使用的细粒度数据集上实现了最先进的性能表现。

    Apr, 2024

  • 基于基础模型和形式验证的规范驱动视频搜索

    使用视觉和语言模型以及形式方法，本研究论文提出了一种自动高效搜索感兴趣视频事件的方法，通过将文本描述转换为有限轨迹的线性时态逻辑（LTLf）并构建视频信息的自动机，然后使用形式方法验证自动机是否满足规范，如果满足则将相关视频片段添加到搜索结果中。本研究通过定性和定量分析展示了该方法在搜索隐私敏感视频和自动驾驶数据集方面的潜力，并达到了超过 90% 的搜索精度。

    Sep, 2023

  • 通过丰富的上下文和区分特征嵌入检索拼接视频

    使用详细的语言描述来显式编码特定查询背景信息和学习视觉、文本和视觉文本的判别嵌入，以更准确地检索匹配的目标视频的新型 CoVR 框架。

    Mar, 2024