ACLSep, 2021

EVOQUER: 通过视频相关的反向查询生成增强时间定位

PDF
TL;DR本文提出了一种时间定位框架 EVOQUER，它结合了文本视频定位模型和视频辅助查询生成网络，从而实现了查询 - 视频结合的闭环学习，并在两种流行数据集上进行实验，显示出较好的性能提升和错误分析方法。
temporal groundingevoquervideo clipquery generationclosed-loop learning
发现论文，激发创造
  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024

  • UniVTG：面向统一的视频 - 语言时序定位

    通过统一视频时序定位（Video Temporal Grounding）的各种标签和任务，提出的 UniVTG 框架在大规模不同标签下能够解锁时序定位预训练，并获得更强的定位能力，例如零样本时序定位。对三项任务（时间区间提取、重要片段检测和视频摘要）在七个数据集上的广泛实验证明了该框架的有效性和灵活性。

    Jul, 2023

  • 2023 年 GroundNLQ@Ego4D 自然语言查询挑战赛

    本文介绍了一种基于两阶段预训练策略及新颖的 GroundNLQ 模型的视频摘要方法。在 Ego4D 自然语言查询挑战方面获得优异的表现，超过其他团队。

    Jun, 2023

  • TVQA+: 视频问答的时空引用

    该研究针对视频问答这一任务，提出增加 bounding boxes 数据集，以此为基础构建了 STAGE 框架，在空间和时间域上对视频进行处理，以便回答关于视频的自然语言问题，并展示了实验结果和可视化。

    Apr, 2019

  • 视频问答的等变性和不变性基础

    视频问答是回答关于视频的自然语言问题的任务。本文提出了一种自我解释的框架 EIGV，通过同时强制性地处理问题关键线索和忽略问题不相关的信息，将问题的答案与环境信息区分开来，明确呈现出视频和语言之间的相互作用，并且在三个基准数据集上进行的广泛实验证明了 EIGV 的优越性。

    Jul, 2022

  • Video-GroundingDINO: 面向开放词汇的时空视频定位

    该研究论文介绍了一种开放式语义和语境视频定位模型，通过使用预训练的空间定位模型，克服了固定词汇和有限训练数据的限制，取得了在闭合式和开放式语境下的卓越性能。

    Dec, 2023

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 找到关注的焦点：面向事件的视频关键问题的 Transformer

    本文提出了一种事件感知的动态时刻查询方法，通过事件推理和时刻推理来预测视频中的时刻时间戳，实验证明了该方法在视频定位方面的有效性和高效性。

    Aug, 2023

  • 视频中的时序句子地位划分：调查与未来方向

    该论文调查了自然语言视频定位 (TSGV) 的基本概念和当前研究状况，并讨论了未来的研究方向，着重介绍了 TSGV 的多模态理解和交互技术，构建了 TSGV 技术的分类法，讨论了当前研究中存在的问题并分享了有前途的研究方向。

    Jan, 2022