Mar, 2020

基于多级弱监督关注重建网络的视频文本查询锚定

PDF
TL;DR本文提出一种基于弱监督学习的多级注意力重建网络（MARN）来实现视频中文本查询的时间定位，该方法又利用注意重建的思想，建立了一个候选时间片段的注意力模型，并利用候选片段和视频句子对进行训练。作者还利用 2D 卷积来提取更可靠的注意力图，并在 Charades-STA 和 ActivityNet-Captions 数据集上进行实验，表明 MARN 优于现有的弱监督方法。
temporal groundingvideo searchweakly-supervised learningattentional reconstructionproposal sampling
发现论文，激发创造
  • 探索动作和外貌信息用于时间性语句定位

    本篇文章提出了一种 Motion-Appearance Reasoning Network 模型，结合了时间感知和外观感知的对象特征来更好地推理连续帧之间的活动关系，用于解决时间语句概括问题，实验证明其明显优于现有方法。

    Jan, 2022

  • 基于记忆注意力的循环神经网络用于视频字幕生成

    提出了一种记忆注意力循环网络用于视频字幕生成，可以在训练数据中探索词与其各种类似视觉上下文的全谱对应关系，从而实现对每个单词的更全面理解，并提高字幕生成质量。

    May, 2019

  • 面向时间语言对接的关系感知视频阅读理解

    本文提出了一种使用选择 - 查询交互和选择 - 选择关系构建解决视频阅读理解中的时间语言接地问题的框架，并引入了一种新颖的多选择关系构造器，通过利用图卷积捕获最佳选择的视频时刻之间的依赖关系，并在 ActivityNet-Captions、TACoS 和 Charades-STA 数据集上进行了广泛的实验证明了我们的方法的有效性。

    Oct, 2021

  • 从文本查询中弱监督的视频片段检索

    本文提出了一种学习弱标签的方法来解决文本 - 视频片段检索问题，并使用基于文本引导的注意力机制学习视频中的相关片段，该方法在两个基准数据集上获得了与监督式学习方法相当的性能。

    Apr, 2019

  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 弱监督指代消解的自适应重建网络

    本文提出了一种使用自适应重建网络 (ARN) 解决弱监督引用表达地面问题的方法，该模型使用分层注意模型计算每个提案和查询之间的匹配分数，并采用语言重建损失、自适应重建损失和属性分类损失协同重建输入查询，实验证明 ARN 比现有的最新方法在四个大型数据集上表现更好，并能更好地处理特定类别的多个对象位于一起的情况。

    Aug, 2019

  • 视频级标签时间定位的多注意力网络

    本文提出一种多注意力机制的模型来解决视频理解中的时间定位问题，模型结合了多个注意力网络、深度帧模型、循环神经网络和卷积神经网络，并基于多实例多标签学习和 attention 权重来加强对视频中重要帧的关注，从而在 YouTube-8M Video Understanding Challenge 中取得了较好的成绩。

    Nov, 2019

  • 弱监督查询视频定位的多尺度自对比学习与硬负例挖掘

    本研究提出了一种自我对比学习框架来在弱监督的条件下解决基于查询的视频定位任务，通过学习针对查询语义的逐帧匹配分数以预测可能的前景帧，并采用粗到细的对比学习方法来区分误检的帧，从而提高了视频定位的准确性。

    Mar, 2022

  • 一种简单而有效的视频时间对齐方法，具有交叉模态注意力

    本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块 (CMA) 和针对此任务的新回归损失函数来提高定位精度，并在 Charades-STA 和 ActivityNet Captions 数据集上超越了目前最先进的方法。

    Sep, 2020

  • 视频中时间语言定位的细粒度迭代注意力网络

    本文提出了一种基于 Fine-grained Iterative Attention Network (FIAN) 的跨模态时间语言定位方法，该方法采用内容定向定位策略而非现有的基于 Anchor 的方法，并在多个公开基准测试中表现出优异的性能。

    Aug, 2020