AAAIMar, 2020

具有关系感知金字塔网络的准确时态行动提案生成

PDF
TL;DR介绍了 Relation-aware pyramid Network (RapNet) 方法，通过引入新的关系感知模块，同时利用局部特征之间的双向长程关系进行上下文提炼，提升其多层次时间建议生成能力，进而产生具有时间和置信度较高的动作建议。该方法在 ActivityNet 和 THUMOS14 数据集上的实验结果表明优于现有的最先进方法。
temporal action proposalsrelation-aware pyramid networkmulti-granularity temporal proposalsnippet-level actionnessactivitynet and thumos14 benchmarks
发现论文，激发创造
  • 时间动作检测的关系网络提案

    本技术报告介绍了我们在 AcitivityNet 2021 挑战赛中针对时间动作检测任务提出的解决方案。我们通过使用 BMN、slowfast、CSN 和 ViViT 等方法来进行动作分类和特征编码，改进 BMN 算法的提案生成和行为检测以及不同设置下的结果综合，最终在测试集中取得 44.7% 的平均 mAP，相较于 ActivityNet 2020 冠军成绩提高了 1.9%。

    Jun, 2021

  • 上下文感知提议网络用于时间动作检测

    本技术报告介绍了我们在 CVPR-2022 AcitivityNet 挑战赛中获取的第一名的解决方案，该解决方案旨在为长型未修剪视频中的特定类别的动作实例定位时间边界，并且通过提出 Context-aware Proposal Network (CPN) 等创新技术，在提高精度方面大有改进。

    Jun, 2022

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 基于 Transformer 的时域动作提议生成

    本文提出了一种使用 Transformer 网络的统一的时间动作提议生成框架，通过 Boundary Transformer 预测边界信息和 Proposal Transformer 学习关系以实现可靠的置信度评估，结果表明，此方法在时间动作本地化任务上表现出色。

    May, 2021

  • 级联金字塔挖掘网络在弱监督时序动作定位中的应用

    本文介绍了一种名为级联金字塔挖掘网络的新型体系结构，旨在通过两个有效模块解决弱监督的时间动作定位问题，并在 THUMOS14 和 ActivityNet-1.3 数据集上进行了广泛的实验和验证。

    Oct, 2018

  • 用于时间动作提议生成的代理 - 环境网络

    提出了一种基于 Agent-Environment Network 的方法来生成暂时动作建议，并在 THUMOS-14 和 ActivityNet-1.3 数据集上得到了良好的表现。

    Jul, 2021

  • 重新思考 Faster R-CNN 架构，用于时间段行为定位

    介绍了基于 Faster R-CNN 的 TAL-Net 方法，通过多尺度架构、适当扩展感受野、多流特征融合等方式改进了视频中的时间动作定位，实现了在 THUMOS'14 目标检测基准和 ActivityNet 挑战赛中的平均最优表现。

    Apr, 2018

  • 自适应图增强变压器生成时序动作建议

    利用增强型 Transformer 和自适应图卷积网络来生成明确涉及情境且复杂的视频中的动作提议，以提高提议质量和保持本地上下文关联性。通过 THUMOS14 和 ActivityNet1.3 数据集的实验验证，该方法优于目前的 TAPG 模型。

    Mar, 2021

  • 视频动作识别的时空金字塔网络

    提出了一种新的空时金字塔网络，将空间和时间特征以金字塔结构融合，从而加强彼此。使用紧凑的双线性运算符实现高效训练的双线性融合操作，最终网络在标准视频数据集上取得了最先进的结果。

    Mar, 2019

  • 图卷积网络 用于 时间动作定位

    该论文利用图卷积网络 (GCNs) 来建立动作建议图，通过使用两种关系来捕捉上下文信息和不同动作之间的相关性，以模拟不同建议之间的关系并学习强大的动作分类和本地化表示，实验证明该方法在 THUMOS14 上显著优于现有最先进模型。

    Sep, 2019