MMJul, 2021

HANet: 视频文本检索的分层对齐网络

PDF
TL;DR本文提出了一种 Hierarchical Alignment Network 框架，通过把视频和文本分解成三个层次，即事件 - 动作 - 实体水平，并在个体 - 局部 - 全局层次上构建层次表示，捕捉视频和文本之间的从精细到粗略的对应关系，从而最大化利用三个语义层次的互补信息，以实现视频文本检索和匹配任务的高效和精度。实验结果表明，所提出的框架在两个公共数据集上优于其他最先进的方法，证明了层次表示和匹配的有效性。
video-text retrievalhierarchical alignment networkfine-grained representationsemantics alignmentevent-action-entity decomposition
发现论文，激发创造
  • 分层图推理的细粒度视频文本检索

    提出一种基于 Hierarchical Graph Reasoning (HGR) 的模型，将 video-text matching 分解成全局到局部的语义层次；通过基于注意力的图推理生成层次化的文本嵌入，进而引导学习多样化和分层的视频表示，并通过整合不同的 video-text 层次的匹配来捕获全局和局部细节，从而实现视频和文本之间的交叉检索。

    Mar, 2020

  • 基于逐层分步对齐的图像 - 文本匹配网络

    本文提出了一种逐步分层对齐网络 (SHAN) 的图像 - 文本匹配方法，将图像 - 文本匹配分解成多步跨模态推理过程以捕捉层次化的细粒度相关性，并在两个基准数据集上进行了实验。

    Jun, 2021

  • 多模式超图网络的文本视频检索

    我们提出了一种基于分块匹配的文本 - 视频检索方法，通过构建多模态超图和引入变分推断，实现在高阶语义空间中对文本和视频的复杂多元交互进行建模，进而提高检索性能。

    Jan, 2024

  • SHE-Net：语法层次增强的文本 - 视频检索

    本文介绍了一种名为 SHE-Net 的新型语法层次增强文本 - 视频检索方法，通过利用文本的语义和语法层次，从两个方面弥合模态差距，并在四个公共文本 - 视频检索数据集上验证了该方法的优势。

    Apr, 2024

  • 利用显式高层语义提升视频文本检索

    本文提出了一种名为 HiSE 的视觉语言对齐模型，通过明确的高层语义信息来提高跨模态表示，结合图形推理技术来促进全局和离散高级语义之间的交互，通过在 MSR-VTT、MSVD 和 DiDeMo 等三个基准数据集上的广泛实验表明，我们的方法在 VTR 上实现了优于现有方法的性能表现。

    Aug, 2022

  • 长时间视频的时间对齐网络

    本文提出了一种时间对齐网络，能够对长期视频序列和关联文本句子进行处理，使用了一种新颖的共同训练方法来减少噪音并训练原始指导视频，应用于多个视频理解任务，包括文本 - 视频检索和弱监督视频动作分割等，获得了更好的性能。

    Apr, 2022

  • T2VLAD：文本 - 视频检索的全局 - 局部序列对齐

    本文主要设计了一种高效的全局 - 局部对齐方法，在共享的语义中心集合中，自适应地汇聚多模式视频序列和文本特征，并计算相同中心内的视频特征与文本特征之间的局部交叉模态相似性，从而实现了细致的局部比较，同时降低了交互成本。此外，还提出了一种全局对齐方法，并在三个标准的文本 - 视频检索基准测试中取得了一致的改进和领先的效果。

    Apr, 2021

  • 基于文本的视频语料库中的时刻定位

    本文提出了一种 Hierarchical Moment Alignment Network 方法，该方法基于文本查询，可以在视频语料库中检索相关视频，并对视频中的时刻进行定位。实验结果表明该方法在三个基准测试集上实现了令人满意的性能表现。

    Aug, 2020

  • 视频字幕的分层模块化网络

    本文提出了一种分层的模块化网络来连接视频表示和语言语义，从实体级别、谓词级别和句子级别三个层次生成视频字幕，并在 MSVD 和 MSR-VTT 基准测试中表现优异。

    Nov, 2021

  • 视频动作识别的分层注意力网络

    本文提出 Hierarchical Attention Network（HAN）用于实现复杂的人类行为理解。该模型可以同时融合视频的静态空间信息，短期运动信息和长期视频时间结构，并利用多步骤空间时间关注机制来自动学习视频帧中的重要区域和时间片段，最终在标准的视频行为基准测试中显著优于现有技术。

    Jul, 2016