Aug, 2019

使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

PDF
TL;DR本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。
发现论文，激发创造
  • 使用时间语言定位视频中的瞬间

    本文提出了一种新模型，该模型可以明确地推理视频中的不同时间片段，证明了在包括时间语言的短语定位中，时间上下文的重要性，并通过 TEMPO 数据集进行了实验以验证模型可靠性。

    Sep, 2018

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 促使大型语言模型改写查询以定位时刻

    这篇文章讨论了如何利用大型语言模型来改进时刻定位的自然语言查询，使其更适合定位模型处理复杂的未剪辑视频内容。

    Jun, 2023

  • 利用自然语言在视频时序关系中进行时刻定位

    本论文提出了 Temporal Compositional Modular Network (TCMN) 模型，该模型结合自然语言描述和视觉信息，通过树形注意力网络自动细分为描述主事件、情境事件和时间信号三部分，再使用两个模块计量视频片段与细分描述间的相似度和位置相似度，通过 late fusion 方法组合 RGB 和光流两种数据进行训练，实验证明此模型在 TEMPO 数据集上表现优于现有方法。

    Aug, 2019

  • 可学习时刻提议的自然语言视频本地化

    本文介绍了一种新的模型 ——LPNet，采用学习性提议网络实现了自然语言视频定位 (NLVL) 任务，较提出与排序模型达到更好的性能。

    Sep, 2021

  • 穿越时间：视频活动的有效定位

    本文介绍了一种基于强化学习的视频定位技术，使用文本和视频的精细特征表示来准确定位语言查询中的片段，并仅浏览整个视频的 32-41% 以节约处理时间。

    Apr, 2019

  • 视频片段定位调查

    对现有的视频时刻定位技术（包括监督、弱监督和非监督），以及可用于视频时刻定位的数据集进行全面回顾，并讨论了大规模数据集和可解释视频时刻定位模型等未来发展方向。

    Jun, 2023

  • 零样本自然语言视频定位

    本文提出了一种新颖的伪监督方法，用于零样本学习自然语言视频定位模型，并在 Charades-STA 和 ActivityNet-Captions 数据集上实验验证该方法相较于其他方法性能有明显提升。

    Aug, 2021

  • 通过上下文边界感知预测，在视频中确定语言查询的时间基点

    本文提出了一种基于 Contextual Boundary-aware Prediction (CBP) 的端到端模型来在视频中定位语句，并通过明确建模当前元素与其邻居之间的关系来聚合上下文信息，最终在三个公共数据集上表现显著优于现有的方法。

    Sep, 2019

  • 基于注意力位置回归的视频中语句的时序定位

    本篇论文提出一种基于注意力的位置回归（ABLR）方法，通过双向 LSTM 网络对视频和句子进行编码，并引入多模式协同注意力机制来预测句子查询的时间坐标，同时采用端到端的方式进行联合训练，以解决从全局视角下的时间句子定位问题，并在 ActivityNet Captions 和 TACoS 数据集上进行了全面的实验来验证该方法的有效性和效率。

    Apr, 2018