Apr, 2018

基于注意力位置回归的视频中语句的时序定位

PDF
TL;DR本篇论文提出一种基于注意力的位置回归（ABLR）方法，通过双向 LSTM 网络对视频和句子进行编码，并引入多模式协同注意力机制来预测句子查询的时间坐标，同时采用端到端的方式进行联合训练，以解决从全局视角下的时间句子定位问题，并在 ActivityNet Captions 和 TACoS 数据集上进行了全面的实验来验证该方法的有效性和效率。
temporal sentence localizationvideo understandingattention based location regressionmulti-modal co-attentionend-to-end training
发现论文，激发创造
  • 面向上下文的 Biaffine 本地化网络用于时间句子定位

    本文提出一种新颖的本地化框架，使用双仿射机制以同时为视频中的所有开始和结束索引打分，该框架结合了全局和本地上下文以实现时间句子定位，同时引入多模态自注意机制提供细粒度的查询引导视频表征。大量实验证明，我们的 CBLN 在三个公共数据集上显著优于现有技术，证明了提出的本地化框架的有效性。

    Mar, 2021

  • 使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

    本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

    Aug, 2019

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 利用自然语言在视频时序关系中进行时刻定位

    本论文提出了 Temporal Compositional Modular Network (TCMN) 模型，该模型结合自然语言描述和视觉信息，通过树形注意力网络自动细分为描述主事件、情境事件和时间信号三部分，再使用两个模块计量视频片段与细分描述间的相似度和位置相似度，通过 late fusion 方法组合 RGB 和光流两种数据进行训练，实验证明此模型在 TEMPO 数据集上表现优于现有方法。

    Aug, 2019

  • 通过上下文边界感知预测，在视频中确定语言查询的时间基点

    本文提出了一种基于 Contextual Boundary-aware Prediction (CBP) 的端到端模型来在视频中定位语句，并通过明确建模当前元素与其邻居之间的关系来聚合上下文信息，最终在三个公共数据集上表现显著优于现有的方法。

    Sep, 2019

  • 视频活动定位中的跨句子时间和语义关系

    本研究提出了一种基于 CRM、利用句间关系建立视频片段并匹配的弱监督方法，从而解决视频活动定位中时间信息标定的问题，并在公开数据集上验证其优越性。

    Jul, 2021

  • 弱监督时间轴自然语言地点在未剪辑视频中的强化学习

    该研究提出了一个基于强化学习的边界自适应精细化（Boundary Adaptive Refinement，BAR）框架，用于加强视频中自然语言的时间地位确定性，无需精细的标注，并证明其性能优于现有的弱监督和一些有竞争力的全监督方法。

    Sep, 2020

  • TALL: 通过语言查询进行时间活动定位

    本文提出了一种使用自然语言查询来进行时间活动定位的方法，使用融合文本和视频特征的方法实现跨模态匹配，并采用后期处理技术进行结果的精确定位，实验结果验证了该方法的有效性。

    May, 2017

  • 基于多级弱监督关注重建网络的视频文本查询锚定

    本文提出一种基于弱监督学习的多级注意力重建网络（MARN）来实现视频中文本查询的时间定位，该方法又利用注意重建的思想，建立了一个候选时间片段的注意力模型，并利用候选片段和视频句子对进行训练。作者还利用 2D 卷积来提取更可靠的注意力图，并在 Charades-STA 和 ActivityNet-Captions 数据集上进行实验，表明 MARN 优于现有的弱监督方法。

    Mar, 2020

  • 阅读，观看和移动：用强化学习将自然语言描述与视频时序地联系起来

    本文通过强化学习和多任务学习建立一个分阶段调整临时定位边界的代理模型，在考虑附加边界信息的训练过程中稳步提高绩效，达到了 ActivityNet'18 DenseCaption 和 Charades-STA 数据集上的最优性能。

    Jan, 2019