Jun, 2019

弱监督空时自然句子在视频中的基础

PDF
TL;DR本文提出了一种新型任务，即利用注意力机制对视频中的自然语句进行弱监督的空时地定位，实现视频中与自然语句语义相符的空时地定位，同时引入多样性损失函数来加强可靠的实例 - 句子配对的匹配行为，并惩罚不可靠的行为，在 ImageNet 视频对象检测数据集上提供了一个新的基准数据集 VID-sentence，并广泛实现了实验结果，表明我们的模型优于基线方法。
weakly-supervisedspatio-temporal groundingnatural language processingvideo object detectionattention mechanisms
发现论文，激发创造
  • 更加注重细节：视频中句子的弱监督时间根据地

    本文研究了弱监督下的视频句子时间定位问题，提出了一个两阶段模型，通过多尺度滑动窗口形成时间片段的间隔性建议，和在特征空间进行粗细匹配定位，最终在 ActivityNet Captions 数据集和 Charades-STA 数据集上取得良好的表现。

    Jan, 2020

  • 基于损失加权和对象交互的文本弱监督视频对象定位

    本文研究弱监督视频对象定位问题，并探讨了在图像域中使用的多实例学习方法在视频域中的扩展性。作者提出了一种将弱监督信号从视频层面传递到帧层面的方法，并将对象之间的交互作为定位的文本指导。在新收集的基准测试 YouCook2-BoundingBox 上，该模型取得了竞争基线方法无法匹敌的表现。

    May, 2018

  • 多形式句子的时空视频定位

    本文研究了一种新的任务，即用于多形式句子的时空视频基础问题。提出了一种名为 Spatio-Temporal Graph Reasoning Network 的方法来解决这个问题，利用时空区域图来捕捉视频中物体的相关性。实验结果表明了本方法的有效性。

    Jan, 2020

  • 弱监督的时间文章定位

    通过提出一个新的挑战性任务 Weakly-Supervised temporal Article Grounding (WSAG) 和一个有效的方法 DualMIL，可以在一个相关的多媒体资源 (文章和视频) 的不同层级之间定位相关句子。我们提出了第一个 WSAG 数据集 YouwikHow，利用 wikiHow 文章和 YouTube 视频中的多尺度描述，并证明了 DualMIL 的有效性。

    Oct, 2022

  • 基于多分支关系网络的物体感知时空视频定位

    本文探讨了如何对不对齐的数据和多种形式的句子进行时空视频对齐，通过提出可发现对象之间对象感知关系、对象感知多分支关系网络的方式进行研究，最后得到了一个有效的结果。

    Aug, 2020

  • 从文本查询中弱监督的视频片段检索

    本文提出了一种学习弱标签的方法来解决文本 - 视频片段检索问题，并使用基于文本引导的注意力机制学习视频中的相关片段，该方法在两个基准数据集上获得了与监督式学习方法相当的性能。

    Apr, 2019

  • 流式视频中的时间语句定位

    该研究旨在解决一项新颖任务 —— 流媒体视频中的时间句子定位，通过提出 TwinNet 结构和语言引导的特征压缩器，该方法在多个数据集上进行了广泛实验证明了其卓越性能。

    Aug, 2023

  • 局部 - 全局视频文本交互的时间对齐

    该论文提出了一种基于回归模型的方法，使用文本查询中的语义短语提取中间特征，以反映查询中描述的重要语义实体和视频的视觉特征之间的双模态交互，通过在多个层面上从局部到全局利用上下文信息，有效地预测目标时间区间。实验证明，该方法在 Charades-STA 和 ActivityNet Captions 数据集上的表现明显优于现有方法。

    Apr, 2020

  • Video-GroundingDINO: 面向开放词汇的时空视频定位

    该研究论文介绍了一种开放式语义和语境视频定位模型，通过使用预训练的空间定位模型，克服了固定词汇和有限训练数据的限制，取得了在闭合式和开放式语境下的卓越性能。

    Dec, 2023

  • 具有语言结构的短语弱监督视觉定位

    文章提出了一种弱监督方法，该方法以图像 - 句子对为输入，学习以空间注意力掩模的形式定位任意语言短语。我们介绍了一种端到端模型，使用两种精心设计的损失函数学习短语的视觉基础，并在句子中使用引诱的解析树结构来确保注意力掩码的补充性及组合性。

    May, 2017