AAAISep, 2019

通过上下文边界感知预测，在视频中确定语言查询的时间基点

PDF
TL;DR本文提出了一种基于 Contextual Boundary-aware Prediction (CBP) 的端到端模型来在视频中定位语句，并通过明确建模当前元素与其邻居之间的关系来聚合上下文信息，最终在三个公共数据集上表现显著优于现有的方法。
temporally groundingvideossemantic boundariesend-to-end modelcontextual information
发现论文，激发创造
  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • 面向上下文的 Biaffine 本地化网络用于时间句子定位

    本文提出一种新颖的本地化框架，使用双仿射机制以同时为视频中的所有开始和结束索引打分，该框架结合了全局和本地上下文以实现时间句子定位，同时引入多模态自注意机制提供细粒度的查询引导视频表征。大量实验证明，我们的 CBLN 在三个公共数据集上显著优于现有技术，证明了提出的本地化框架的有效性。

    Mar, 2021

  • 使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

    本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

    Aug, 2019

  • 一种简单而有效的视频时间对齐方法，具有交叉模态注意力

    本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块 (CMA) 和针对此任务的新回归损失函数来提高定位精度，并在 Charades-STA 和 ActivityNet Captions 数据集上超越了目前最先进的方法。

    Sep, 2020

  • 时间感知的视频 - 语言预训练

    本研究提出了一种文本 - 视频本地化预文本任务，以实现细粒度的时间和语义对齐，从而让训练模型能够准确感知给定文本描述的视频时间边界，并且实验结果表明该方法在各种基准测试中显著提高了最先进的性能。

    Jan, 2023

  • 弱监督时间轴自然语言地点在未剪辑视频中的强化学习

    该研究提出了一个基于强化学习的边界自适应精细化（Boundary Adaptive Refinement，BAR）框架，用于加强视频中自然语言的时间地位确定性，无需精细的标注，并证明其性能优于现有的弱监督和一些有竞争力的全监督方法。

    Sep, 2020

  • 利用全局时间语义知识的视频句子定位

    利用伪查询特征加强领域间的联通，提高视觉和语言之间的特征对齐，以实现更好的时间句子定位。

    Apr, 2024

  • 阅读，观看和移动：用强化学习将自然语言描述与视频时序地联系起来

    本文通过强化学习和多任务学习建立一个分阶段调整临时定位边界的代理模型，在考虑附加边界信息的训练过程中稳步提高绩效，达到了 ActivityNet'18 DenseCaption 和 Charades-STA 数据集上的最优性能。

    Jan, 2019

  • 使用时间语言定位视频中的瞬间

    本文提出了一种新模型，该模型可以明确地推理视频中的不同时间片段，证明了在包括时间语言的短语定位中，时间上下文的重要性，并通过 TEMPO 数据集进行了实验以验证模型可靠性。

    Sep, 2018