CVPRNov, 2018

MAN: 迭代图调整的自然语言时刻检索的时刻对齐网络

PDF
TL;DR本论文提出 Moment Alignment Network (MAN) 框架，将候选时刻编码和时间结构推理统一到单次前向网络中。MAN 自然地分配候选时刻表示与语言语义对齐，通过结构化图形调整网络对时刻间的复杂关系进行建模和学习。在 DiDeMo 和 Charades-STA 数据集上，实验结果表明本文所提出的方法显著优于现有的同类方法。
natural language moment retrievallong untrimmed video streamsmoment alignment networktemporal structural reasoningiterative graph adjustment network
发现论文，激发创造
  • 基于文本的视频语料库中的时刻定位

    本文提出了一种 Hierarchical Moment Alignment Network 方法，该方法基于文本查询，可以在视频语料库中检索相关视频，并对视频中的时刻进行定位。实验结果表明该方法在三个基准测试集上实现了令人满意的性能表现。

    Aug, 2020

  • 自然语言时序相邻网络学习用于时刻定位

    本文提出了一个基于 2D 时间映射的 Temporal Adjacent Network（2D-TAN）框架，用于在未修剪的视频中匹配与查询句子相关的特定时间点，该框架可以编码相邻的时间关系，并学习具有区分性的特征以提高活动识别的准确性，通过在 Charades-STA，ActivityNet Captions 和 TACoS 等数据集上的表现，证明了该方法的优越性。

    Dec, 2019

  • 自然语言配合的多尺度 2D 时间相邻网络用于时刻定位

    本论文提出了一种基于 Multi-Scale Temporal Adjacent Network (MS-2D-TAN) 的单次框架，通过一组预定义的二维地图在不同的时间尺度下建模视频时序的上下文信息，以实现从未修剪的视频中通过自然语言检索到特定时刻的目标。

    Dec, 2020

  • 基于语义补全网络的弱监督视频时刻检索

    本文提出了一种新的弱监督视频瞬间检索框架，包括提议生成和语义完成等组件，并在 ActivityCaptions 和 Charades-STA 数据集上进行了实验证明其有效性。

    Nov, 2019

  • 视频中基于查询的时刻检索的跨模态交互网络

    本文提出一种新颖的交叉模态交互网络 (CMIN)，通过语法图卷积网络，多头自注意力和多阶段跨模态交互，综合考虑语言查询的句法结构、视频上下文语义依赖关系和跨模态交互，提高了视频检索准确性。

    Jun, 2019

  • 视频语义分割的时间记忆注意力

    该研究提出了一种基于自我注意力机制和长远时间关系的 Temporal Memory Attention Network（TMANet），来达到视频语义分割的最佳性能，尤其在 Cityscapes 和 CamVid 数据集上表现出新的最佳性能，并且避免了消耗大量计算资源的精确光流建模的缺点。

    Feb, 2021

  • 长时间视频的时间对齐网络

    本文提出了一种时间对齐网络，能够对长期视频序列和关联文本句子进行处理，使用了一种新颖的共同训练方法来减少噪音并训练原始指导视频，应用于多个视频理解任务，包括文本 - 视频检索和弱监督视频动作分割等，获得了更好的性能。

    Apr, 2022

  • 多粒度感知网络用于视频中的时刻检索

    该论文提出了一种新的多粒度感知网络 (MGPN)，旨在改善视频中的时刻检索，将时刻检索建模为一种多选阅读理解任务，结合人类阅读策略，并通过优化算法提高了检索精度。

    May, 2022

  • 利用自然语言在视频时序关系中进行时刻定位

    本论文提出了 Temporal Compositional Modular Network (TCMN) 模型，该模型结合自然语言描述和视觉信息，通过树形注意力网络自动细分为描述主事件、情境事件和时间信号三部分，再使用两个模块计量视频片段与细分描述间的相似度和位置相似度，通过 late fusion 方法组合 RGB 和光流两种数据进行训练，实验证明此模型在 TEMPO 数据集上表现优于现有方法。

    Aug, 2019

  • LoGAN: 弱监督视频时刻检索的潜在图协同注意力网络

    本研究提出了一种新的共现学习框架 (Latent Graph Co-Attention Network)， 用于解决标注数据有限的情况下，如何更准确定位与自然语言查询相关的视频片段；通过实验发现，该方法相较以往方法取得了相当显著的进步

    Sep, 2019