ICCVDec, 2019

学习稀疏 2D 时间相邻网络用于时间动作定位

PDF
TL;DR本文介绍了在 HACS 时间动作定位挑战赛 2019 中获胜的 Winner 方法。该方法提出了稀疏 2D 时间相邻网络以建模候选动作的时间关系，并通过结合简单的动作分类器，最终在测试集上获得了 23.49 的平均精确度，赢得了比赛的第一名。
temporal action localizationwinner methodsparse 2d temporal adjacent networkshacs challengeaction classifier
发现论文，激发创造
  • 自然语言时序相邻网络学习用于时刻定位

    本文提出了一个基于 2D 时间映射的 Temporal Adjacent Network（2D-TAN）框架，用于在未修剪的视频中匹配与查询句子相关的特定时间点，该框架可以编码相邻的时间关系，并学习具有区分性的特征以提高活动识别的准确性，通过在 Charades-STA，ActivityNet Captions 和 TACoS 等数据集上的表现，证明了该方法的优越性。

    Dec, 2019

  • 稀疏提议优化高质量时序动作检测

    本文提出了一种名为 SP-TAD 的方法来应对在时间行为检测上的挑战，其利用了稀疏 proposal 和特征金字塔来构建多尺度特征以准确捕捉行为细节，实验结果表明，该方法取得了与现有最优方法相媲美的性能。

    Sep, 2021

  • 高斯时空感知网络用于动作定位

    本文提出一种新的视频动作定位框架，使用高斯核实现动作提案的动态时间尺度优化，通过学习一组高斯核对动作的时间结构进行建模，取得了目前最好的检测结果。

    Sep, 2019

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 时间融合网络用于时序动作定位：提交至 ActivityNet Challenge 2020（E 任务）

    本技术报告分析了我们在 Activitynet Challenge 2020 中使用的一种时间动作定位方法，该方法利用视频级别特征信息训练多个视频级别动作分类模型，并应用 BMN 等方法产生高质量的时间提案，再通过级联结构网络 Refine Network 和多种模型融合方法，实现了在 HACS 比赛中 Rank1 的好成绩。

    Jun, 2020

  • 自然语言配合的多尺度 2D 时间相邻网络用于时刻定位

    本论文提出了一种基于 Multi-Scale Temporal Adjacent Network (MS-2D-TAN) 的单次框架，通过一组预定义的二维地图在不同的时间尺度下建模视频时序的上下文信息，以实现从未修剪的视频中通过自然语言检索到特定时刻的目标。

    Dec, 2020

  • 上下文感知提议网络用于时间动作检测

    本技术报告介绍了我们在 CVPR-2022 AcitivityNet 挑战赛中获取的第一名的解决方案，该解决方案旨在为长型未修剪视频中的特定类别的动作实例定位时间边界，并且通过提出 Context-aware Proposal Network (CPN) 等创新技术，在提高精度方面大有改进。

    Jun, 2022

  • 使用多阶段 CNN 在未修剪的视频中进行时间动作定位

    本研究提出了一种基于三种分段 3D 卷积神经网络的方法，用于解决未经修剪的长视频中的时间动作定位问题，其中提出网络用于识别可能包含动作的候选段，分类网络以一对多动作分类模型进行学习以作为定位网络的初始化，用于定位每个动作实例。

    Jan, 2016

  • 时态行为提议精炼的时间上下文聚合网络

    本文提出了一种 Temporal Context Aggregation Network（TCANet）来生成高质量的动作提案，通过本地和全局的时间上下文聚合和补充以及逐步边界细化，等等一连串的动作建议生成算法，以增强方法的临床普适性和可应用性。

    Mar, 2021

  • 增强 2D-TAN: 一种用于人类中心的时空视频定位的两阶段方法

    本研究提出了一种有效的两阶段方法，利用增强的 2D-TAN 对文本描述进行时间上的定位，同时使用 MDETR 模型生成每帧包围盒并设计了一组手工规则，筛选出与定位短语最匹配的包围盒。

    Jun, 2021