CVPRJun, 2021

增强 2D-TAN: 一种用于人类中心的时空视频定位的两阶段方法

PDF
TL;DR本研究提出了一种有效的两阶段方法，利用增强的 2D-TAN 对文本描述进行时间上的定位，同时使用 MDETR 模型生成每帧包围盒并设计了一组手工规则，筛选出与定位短语最匹配的包围盒。
hc-stvgaugmented 2d-tanbi-lstm aggregation modulerandom concatenation augmentationmdetr
发现论文，激发创造
  • 自然语言时序相邻网络学习用于时刻定位

    本文提出了一个基于 2D 时间映射的 Temporal Adjacent Network（2D-TAN）框架，用于在未修剪的视频中匹配与查询句子相关的特定时间点，该框架可以编码相邻的时间关系，并学习具有区分性的特征以提高活动识别的准确性，通过在 Charades-STA，ActivityNet Captions 和 TACoS 等数据集上的表现，证明了该方法的优越性。

    Dec, 2019

  • 基于视觉转换器的人类中心时空视频定位

    本文介绍了一项新任务 —— 人体中心的时空视频定位（HC-STVG），并提出了一种名为 Spatio-Temporal Grounding with Visual Transformers（STGVT）的基准方法，该方法使用 Visual Transformers 来提取视频 - 句子匹配和时间定位的跨模态表示，同时我们贡献了一个 HC-STVG 数据集，其中包含 5,660 个复杂的多人场景视频 - 句子对。经过大量实验，表明新提出的方法优于现有的基准方法。

    Nov, 2020

  • 自然语言配合的多尺度 2D 时间相邻网络用于时刻定位

    本论文提出了一种基于 Multi-Scale Temporal Adjacent Network (MS-2D-TAN) 的单次框架，通过一组预定义的二维地图在不同的时间尺度下建模视频时序的上下文信息，以实现从未修剪的视频中通过自然语言检索到特定时刻的目标。

    Dec, 2020

  • 弱监督的时间邻接网络 —— 针对语言基础理解

    本文提出了一种基于弱监督学习的弱时间语言接地算法，该算法通过利用时间相邻网络在多个实例学习 (MIL) 范式中学习跨模式语义对齐，同时引入互补分支和自我区分损失函数以增强语义判别能力。实验结果表明该方法非常有效。

    Jun, 2021

  • 一种简单而有效的视频时间对齐方法，具有交叉模态注意力

    本文主要研究了利用语言引导定位视频中的相关片段的问题，提出一种简单直观的跨模态注意力模块 (CMA) 和针对此任务的新回归损失函数来提高定位精度，并在 Charades-STA 和 ActivityNet Captions 数据集上超越了目前最先进的方法。

    Sep, 2020

  • 高效二维时间视频定位的文本 - 视觉指示

    本文研究了时空视频定位（TVG）的问题，提出了一种新的文本 - 视觉提示框架（TVP）来优化视频编码器和语言编码器，有效地加强交叉模态特征融合并提高了 TVG 的表现。

    Mar, 2023

  • 端到端多模式视频时间定位

    本文提出了一种基于多模态框架的文本指导视频时间地基方法，采用 RGB 图像、光流和深度图来提取视频的补充信息并通过 transformers 设计动态融合方案进行交互学习，在 Charades-STA 和 ActivityNet Captions 数据集上实验表明，该方法表现优越。

    Jul, 2021

  • 简洁的时间视频定位：多尺度邻近注意力与放大边界检测

    提供了一个无花样的 TVG 模型，借助多尺度邻近注意和缩放边界检测两个核心模块，提高了在具有低语义噪声比的情况下提取最能区分信息的能力。结合端到端训练策略，该模型在不同的 TVG 基准上实现了竞争性的性能，同时具有更快的推理速度和较轻量的模型参数。

    Jul, 2023

  • 学习稀疏 2D 时间相邻网络用于时间动作定位

    本文介绍了在 HACS 时间动作定位挑战赛 2019 中获胜的 Winner 方法。该方法提出了稀疏 2D 时间相邻网络以建模候选动作的时间关系，并通过结合简单的动作分类器，最终在测试集上获得了 23.49 的平均精确度，赢得了比赛的第一名。

    Dec, 2019

  • 利用时间对抗性增强提高视频表现

    本研究提出了一种新的视觉增强技术 (Temporal Adversarial Augmentation), 该技术利用时间关注，通过最大化与时间相关的损失函数来移动神经网络的注意力分布，实现神经网络对于视频剪辑的视角多样化，增强了神经网络的泛化能力，提高模型对于 ODD 情况的稳健性，不需要额外的参数或计算成本。

    Apr, 2023