Jun, 2023

具有语义理解解释性的海洋视频检索系统

PDF
TL;DRMarineVRS 是一种专为海洋领域设计的新型灵活视频检索系统，采用最先进的视觉和语言对象表示方法，可以有效准确地搜索和分析大量的水下视频数据，并包括了 Explainability 模块，该模块可输出输入查询所指的对象的分割掩模，从而使用户能够识别和分离视频镜头中的特定对象，以更深入地分析和理解它们的行为和移动。
video retrievalmarine environmentmarinevrsvisual object representationexplainability module
发现论文，激发创造
  • 利用视觉语义推理进行视频 - 文本检索

    为了提高视频检索的性能，我们提出了一种名为 ViSERN 的可视化语义增强的推理网络，该网络利用图卷积网络执行随机游走规则来生成涉及语义关系的区域特征，并聚合这些特征以形成帧级特征， 以求衡量视频和文本之间的相似性。

    Jun, 2020

  • Marine Video Kit: 一种新的海洋视频数据集，用于基于内容的分析和检索

    本文介绍了一个新的水下移动摄像机单拍摄视频的数据集 ——Marine Video Kit dataset，该数据集挑战了特定领域的新强大模型，并公开了一些低水平特征以及一些视觉关键帧的语义注释。此外，本文也包含了基于大量元数据和统计学的分析，以及关于通用模型检索的局限性实验的研究。

    Sep, 2022

  • 探索视觉检索模型中的组合和语义理解

    对视频检索模型在对象和属性、动作以及语义等组成部分的理解进行系统研究并在标准基准数据集上进行实验，发现对象和属性组成部分在视频理解上发挥更重要的作用，且使用预训练的图像 - 文本表示（如 CLIP）的视频检索模型具有更好的语义和组成理解能力。

    Jun, 2023

  • 关于视音频检索中的语义相似度

    本文提出了一种基于语义相似性的视频检索方法，它允许多个视频和标题被视为同等相关，并且排名的顺序不影响检索性能比较，同时，它还提出了多种估计语义相似性的方法，以适应大规模检索数据集。本文在三个常用视频检索数据集上分析了该方法的表现。

    Mar, 2021

  • 跨多领域标签的混合学习视频时刻检索

    用混合学习的方法，从全监督的源领域迁移到弱标记的目标领域，提高视频时刻检索模型的学习能力。通过引入多支视觉文本对齐模型 (EVA)，实现跨模态匹配信息共享和多模态特征对齐，优化领域不变的视觉和文本特征，以及具有判别性的联合视频和文本表示。实验证明 EVA 在源领域的时间段注释中的有效性，可以帮助在目标领域中学习无时间标签的视频时刻检索。

    Jun, 2024

  • 一个带有阅读理解的大型跨模态视频检索数据集

    提出了一种新的跨模态视频检索数据集 TextVR，它包含了八个场景领域的 10.5k 个视频和 42.2k 个查询语句，并介绍了一种统一的跨模态模型，有效地将文本和视觉语义信息融合来实现视频检索任务。该数据集和我们提出的跨模态检索方法为视频和语言研究领域提供了许多新的技术挑战和洞见。

    May, 2023

  • 使用 CLIP 的视频检索简明框架

    本研究探索了使用语言 - 图像模型 CLIP 来获取视频表示，而不需要用户注释，这一技术扩展应用于视频检索中取得了最先进的结果。

    Feb, 2021

  • 利用现有资源：使用协同信息源提取视频表示

    该论文旨在将来自不同模态的视频信息压缩为单一、紧凑的表示形式，以用于自由格式文本查询的视频检索任务。通过运用预训练的语义嵌入、自动语音识别和光学字符识别等方法，采用协作专家模型来聚合信息，具有良好的检索性能。

    Jul, 2019

  • 迈向平衡对齐：视频时刻检索的模态增强语义建模

    通过提升视频模态和文本模态的特征，Modal-Enhanced Semantic Modeling（MESM）框架在视频短片检索中实现了更平衡的对齐，填补了形式上不平衡的模态差距。实验证明该框架在多个基准测试上取得了显著的泛化能力和最佳效果。

    Dec, 2023

  • 交互式视频检索与对话

    本研究介绍了一种基于交互对话的视频检索系统，能够帮助用户在包含许多类似的视频中快速准确地找到目标视频，并通过 AVSD 数据集的实验证明了系统的有效性。

    May, 2019