CVPRMar, 2020

分层图推理的细粒度视频文本检索

PDF
TL;DR提出一种基于 Hierarchical Graph Reasoning (HGR) 的模型，将 video-text matching 分解成全局到局部的语义层次；通过基于注意力的图推理生成层次化的文本嵌入，进而引导学习多样化和分层的视频表示，并通过整合不同的 video-text 层次的匹配来捕获全局和局部细节，从而实现视频和文本之间的交叉检索。
cross-modal retrievalhierarchical graph reasoningvideo-text matchingsemantic graphfine-grained video-text retrieval
发现论文，激发创造
  • HANet: 视频文本检索的分层对齐网络

    本文提出了一种 Hierarchical Alignment Network 框架，通过把视频和文本分解成三个层次，即事件 - 动作 - 实体水平，并在个体 - 局部 - 全局层次上构建层次表示，捕捉视频和文本之间的从精细到粗略的对应关系，从而最大化利用三个语义层次的互补信息，以实现视频文本检索和匹配任务的高效和精度。实验结果表明，所提出的框架在两个公共数据集上优于其他最先进的方法，证明了层次表示和匹配的有效性。

    Jul, 2021

  • 多模式超图网络的文本视频检索

    我们提出了一种基于分块匹配的文本 - 视频检索方法，通过构建多模态超图和引入变分推断，实现在高阶语义空间中对文本和视频的复杂多元交互进行建模，进而提高检索性能。

    Jan, 2024

  • 利用视频作为条件图层级的多粒度问答

    本文提出了一种将视频建模为条件分层图层次结构的方法，通过组合不同层次的视觉元素来对齐语言查询中的多粒度语义概念，该方法超越了先前方法的表现，且对于不同类型的问题也具有更好的泛化能力。

    Dec, 2021

  • 视频和文本的跨模态和分层建模

    本文探讨了多模态序列数据的建模技术，提出了一种通用模型，即基于层次结构的序列嵌入模型 (HSE)，该模型将不同模态的序列数据嵌入层次语义空间中，取得了超越现有方法的结果，并在零样本动作识别和视频字幕自动生成等下游任务中取得了更好的效果。

    Oct, 2018

  • 基于场景文本的细粒度图像分类与检索的多模态推理图

    本文采用图卷积网络结合场景文本实例和显著图像区域进行多模态推理，在 Con-Text 和 Drink Bottle 数据集中，在细粒度图像分类和图像检索任务中显著优于之前的最新技术。

    Sep, 2020

  • 利用视觉语义推理进行视频 - 文本检索

    为了提高视频检索的性能，我们提出了一种名为 ViSERN 的可视化语义增强的推理网络，该网络利用图卷积网络执行随机游走规则来生成涉及语义关系的区域特征，并聚合这些特征以形成帧级特征， 以求衡量视频和文本之间的相似性。

    Jun, 2020

  • 基于关系图学习的视频描述生成

    本研究设计了一种新颖的关系图学习框架，包括一种语言细化的场景图表示，探索细粒度的视觉概念，并解决了对象幻觉问题。实验结果表明，本方法可以生成更精细和准确的描述。

    Dec, 2021

  • 利用显式高层语义提升视频文本检索

    本文提出了一种名为 HiSE 的视觉语言对齐模型，通过明确的高层语义信息来提高跨模态表示，结合图形推理技术来促进全局和离散高级语义之间的交互，通过在 MSR-VTT、MSVD 和 DiDeMo 等三个基准数据集上的广泛实验表明，我们的方法在 VTR 上实现了优于现有方法的性能表现。

    Aug, 2022

  • 高效且有效的文本到视频检索：基于粗粒度到细粒度的视觉表征学习

    通过多粒度视觉特征学习和二阶段检索体系结构，本研究提出了一种在检索效果和效率之间取得平衡的文本到视频检索方法，同时在训练阶段采用了参数无关的文本门控交互块和额外的 Pearson 约束来优化跨模态表示学习，从而实现了与当前最先进方法相媲美的性能，且速度快近 50 倍。

    Jan, 2024

  • 基于跨句推理图的文档级关系抽取

    本文提出了一种新颖的文档级关系抽取模型 GRACR，其中构建了一个简化的语义图来建模文档中的所有实体和句子信息，以及一个实体级图来探索长距离跨句子实体对的关系。经实验证明，在文档级别关系抽取任务上，该方法取得了优秀的性能，并且在提取跨句子实体对的潜在关系方面尤其有效。

    Mar, 2023