CVPRJun, 2021

时间动作检测的关系网络提案

PDF
TL;DR本技术报告介绍了我们在 AcitivityNet 2021 挑战赛中针对时间动作检测任务提出的解决方案。我们通过使用 BMN、slowfast、CSN 和 ViViT 等方法来进行动作分类和特征编码，改进 BMN 算法的提案生成和行为检测以及不同设置下的结果综合，最终在测试集中取得 44.7% 的平均 mAP，相较于 ActivityNet 2020 冠军成绩提高了 1.9%。
temporal action detectionacitivitynet challenge 2021bmnslowfastaction classification
发现论文，激发创造
  • 上下文感知提议网络用于时间动作检测

    本技术报告介绍了我们在 CVPR-2022 AcitivityNet 挑战赛中获取的第一名的解决方案，该解决方案旨在为长型未修剪视频中的特定类别的动作实例定位时间边界，并且通过提出 Context-aware Proposal Network (CPN) 等创新技术，在提高精度方面大有改进。

    Jun, 2022

  • 时间融合网络用于时序动作定位：提交至 ActivityNet Challenge 2020（E 任务）

    本技术报告分析了我们在 Activitynet Challenge 2020 中使用的一种时间动作定位方法，该方法利用视频级别特征信息训练多个视频级别动作分类模型，并应用 BMN 等方法产生高质量的时间提案，再通过级联结构网络 Refine Network 和多种模型融合方法，实现了在 HACS 比赛中 Rank1 的好成绩。

    Jun, 2020

  • 具有关系感知金字塔网络的准确时态行动提案生成

    介绍了 Relation-aware pyramid Network (RapNet) 方法，通过引入新的关系感知模块，同时利用局部特征之间的双向长程关系进行上下文提炼，提升其多层次时间建议生成能力，进而产生具有时间和置信度较高的动作建议。该方法在 ActivityNet 和 THUMOS14 数据集上的实验结果表明优于现有的最先进方法。

    Mar, 2020

  • BMN: 时间动作提议生成的边界匹配网络

    提出一种名为 “Boundary-Matching Network（BMN）” 的有效、高效、端对端的建议生成方法，可以同时生成具有精确时间边界和可靠置信度分数的建议，提出 BM 机制来评估密集分布的建议的置信度得分，以及将所有密集分布的 BM 对结合成 BM 置信度图，测试结果在 THUMOS-14 和 ActivityNet-1.3 数据集上表现出一定优越性。

    Jul, 2019

  • BSN: 临界敏感的网络用于时间活动提议生成

    本研究提出了一种基于局部到全局思想的 Temporal action proposal 生成方法，命名为 Boundary-Sensitive Network (BSN)。实验结果表明，BSN 在 ActivityNet-1.3 和 THUMOS14 数据集中，相较于其他先进 Temporal action proposal 生成方法，具有高的召回率和高的时间精度。此外，将现有的行动分类器与 BSN 结合使用，能够显著提高时态动作检测性能。

    Jun, 2018

  • 基于时间卷积的动作提议：ActivityNet 2017 提交

    本研究旨在提出一种基于时间卷积网络的新型提议模型以解决时间行为定位中行为提议的低质量问题，并在该领域取得了最先进的性能结果。

    Jul, 2017

  • 用于时间动作提议生成的代理 - 环境网络

    提出了一种基于 Agent-Environment Network 的方法来生成暂时动作建议，并在 THUMOS-14 和 ActivityNet-1.3 数据集上得到了良好的表现。

    Jul, 2021

  • 演员中心关系网络

    模型人与场景、物体之间的关系有助于精细化人类行为的区分，有别于现有 3D ConvNets 的方法，而采用 actor-centric relational network 以弱监督方式自动挖掘相关要素计算 pair-wise relation，实现 state-of-the-art 表现。

    Jul, 2018

  • 图卷积网络 用于 时间动作定位

    该论文利用图卷积网络 (GCNs) 来建立动作建议图，通过使用两种关系来捕捉上下文信息和不同动作之间的相关性，以模拟不同建议之间的关系并学习强大的动作分类和本地化表示，实验证明该方法在 THUMOS14 上显著优于现有最先进模型。

    Sep, 2019

  • 在线动作检测的时序循环网络

    本文提出了一种新颖的框架 Temporal Recurrent Network (TRN) 来模拟视频帧的时间上下文，在线执行行动检测并预测即将发生的行动，实现了累积历史证据和预测未来信息相结合的在线识别方式，并在 HDD、TVSeries 和 THUMOS'14 三个数据集上进行评估，表明 TRN 的性能显著优于现有技术。

    Nov, 2018