AAAIDec, 2019

自然语言时序相邻网络学习用于时刻定位

PDF
TL;DR本文提出了一个基于 2D 时间映射的 Temporal Adjacent Network（2D-TAN）框架，用于在未修剪的视频中匹配与查询句子相关的特定时间点，该框架可以编码相邻的时间关系，并学习具有区分性的特征以提高活动识别的准确性，通过在 Charades-STA，ActivityNet Captions 和 TACoS 等数据集上的表现，证明了该方法的优越性。
moment retrievaluntrimmed videotemporal relations2d-tanactivity recognition
发现论文，激发创造
  • 自然语言配合的多尺度 2D 时间相邻网络用于时刻定位

    本论文提出了一种基于 Multi-Scale Temporal Adjacent Network (MS-2D-TAN) 的单次框架，通过一组预定义的二维地图在不同的时间尺度下建模视频时序的上下文信息，以实现从未修剪的视频中通过自然语言检索到特定时刻的目标。

    Dec, 2020

  • 增强 2D-TAN: 一种用于人类中心的时空视频定位的两阶段方法

    本研究提出了一种有效的两阶段方法，利用增强的 2D-TAN 对文本描述进行时间上的定位，同时使用 MDETR 模型生成每帧包围盒并设计了一组手工规则，筛选出与定位短语最匹配的包围盒。

    Jun, 2021

  • 利用自然语言在视频时序关系中进行时刻定位

    本论文提出了 Temporal Compositional Modular Network (TCMN) 模型，该模型结合自然语言描述和视觉信息，通过树形注意力网络自动细分为描述主事件、情境事件和时间信号三部分，再使用两个模块计量视频片段与细分描述间的相似度和位置相似度，通过 late fusion 方法组合 RGB 和光流两种数据进行训练，实验证明此模型在 TEMPO 数据集上表现优于现有方法。

    Aug, 2019

  • 学习稀疏 2D 时间相邻网络用于时间动作定位

    本文介绍了在 HACS 时间动作定位挑战赛 2019 中获胜的 Winner 方法。该方法提出了稀疏 2D 时间相邻网络以建模候选动作的时间关系，并通过结合简单的动作分类器，最终在测试集上获得了 23.49 的平均精确度，赢得了比赛的第一名。

    Dec, 2019

  • MAN: 迭代图调整的自然语言时刻检索的时刻对齐网络

    本论文提出 Moment Alignment Network (MAN) 框架，将候选时刻编码和时间结构推理统一到单次前向网络中。MAN 自然地分配候选时刻表示与语言语义对齐，通过结构化图形调整网络对时刻间的复杂关系进行建模和学习。在 DiDeMo 和 Charades-STA 数据集上，实验结果表明本文所提出的方法显著优于现有的同类方法。

    Nov, 2018

  • 促使大型语言模型改写查询以定位时刻

    这篇文章讨论了如何利用大型语言模型来改进时刻定位的自然语言查询，使其更适合定位模型处理复杂的未剪辑视频内容。

    Jun, 2023

  • 自然语言视频时刻定位

    通过提出 Moment Context Network 来定位自然语言查询中的视频段，并通过构建 Distinct Describable Moments 数据集实现对局部视屏段的描述。

    Aug, 2017

  • 使用引导注意力在视频中进行自然语言查询的无需提议的时间时刻定位

    本文提出了一种更有效率的、端到端可训练的、不需要先提出建议的方法，以自然语言作为查询，解决了在长视频中定位时间点的问题。通过引入动态滤波器、新的损失函数和软标签等三个关键组件，实现从语言信息到视觉领域的转换，并评估了该方法在两个基准数据集上的表现优越性。

    Aug, 2019

  • 使用时间语言定位视频中的瞬间

    本文提出了一种新模型，该模型可以明确地推理视频中的不同时间片段，证明了在包括时间语言的短语定位中，时间上下文的重要性，并通过 TEMPO 数据集进行了实验以验证模型可靠性。

    Sep, 2018

  • 用于基于语言的时刻定位的渐进式本地化网络

    本文介绍了一种新颖的多阶段渐进式本地化网络（PLN），采用不同时间粒度生成的候选时刻进行本地化，并使用条件特征操作模块和上采样连接以使后续阶段能够吸收以前已学习的信息，特别适合定位长视频中的短片段。

    Feb, 2021