Aug, 2022

分层本地 - 全局变压器用于时间句子定位

PDF
TL;DR本文介绍了一种新的 Hierarchical Local-Global Transformer 模型来解决视频和文本之间的 fine-grained 语义对齐问题，并将其应用于 temporal sentence grounding 任务，通过跨模态平行变压器解码器将其编码为最终的基础。
temporal sentence groundingvideo segmenttransformer-based approacheshierarchical local-global transformermulti-modal reasoning
发现论文，激发创造
  • 多模态 Transformer 在视频锚定中的设计追求

    本篇论文提出了一种新型的端到端、多模态 Transformer 模型 ——GTR，通过将视频定位看作一个集合预测任务来实现，采用立方体嵌入层将原始视频转换为视觉令牌；在解码器中，采用新型的多头跨模态注意力机制来更好地融合两种模态，整个模型的优化采用 Many-to-One 匹配损失函数，实现了记录性能和较快的推理速度，获得更好的结果。

    Sep, 2021

  • 基于多模态信息的时间句子定位在长视频中的基础调度

    通过使用多模态信息，我们提出了一种用于处理长视频中的 Temporal Sentence Grounding 任务的 Grounding-Prompter 方法，通过引导 LLM 进行 TSG，提高了推理能力和理解 TSG 任务的性能。

    Dec, 2023

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 视频中的时序句子地位划分：调查与未来方向

    该论文调查了自然语言视频定位 (TSGV) 的基本概念和当前研究状况，并讨论了未来的研究方向，着重介绍了 TSGV 的多模态理解和交互技术，构建了 TSGV 技术的分类法，讨论了当前研究中存在的问题并分享了有前途的研究方向。

    Jan, 2022

  • 多教师知识蒸馏下视频中高效的时间句子定位

    本论文提出了一个基于知识蒸馏的新型高效多教师模型（EMTM），旨在在维持高性能的同时，实现在未修剪视频中检测自然语言查询所描述的事件时间戳的挑战。

    Aug, 2023

  • 多形式句子的时空视频定位

    本文研究了一种新的任务，即用于多形式句子的时空视频基础问题。提出了一种名为 Spatio-Temporal Graph Reasoning Network 的方法来解决这个问题，利用时空区域图来捕捉视频中物体的相关性。实验结果表明了本方法的有效性。

    Jan, 2020

  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • 基于视觉转换器的人类中心时空视频定位

    本文介绍了一项新任务 —— 人体中心的时空视频定位（HC-STVG），并提出了一种名为 Spatio-Temporal Grounding with Visual Transformers（STGVT）的基准方法，该方法使用 Visual Transformers 来提取视频 - 句子匹配和时间定位的跨模态表示，同时我们贡献了一个 HC-STVG 数据集，其中包含 5,660 个复杂的多人场景视频 - 句子对。经过大量实验，表明新提出的方法优于现有的基准方法。

    Nov, 2020

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024