CVPRJun, 2022

学习重构行动和共现特征以实现时间行动定位

PDF
TL;DR该研究通过解决动作检测中的背景和上下文等因素对动作内容的冲击，提出了 RefactorNet 方法，该方法通过对视频片段的两种互补特征进行刻画，进而生成更加显著的动作信息表达形式，从而提升了动作定位的性能。
temporal action localizationvideo analysisaction detectionco-occurrence featuresrefactornet
发现论文，激发创造
  • 探究用于时序动作定位的更强特征

    本文研究了时域动作定位的方法，发现基于变压器的方法可以实现更好的分类性能，但不能生成准确的动作提案，最后通过以较高的帧分辨率提取特征来提高时域动作定位的性能，最终在 CVPR2021HACS 挑战中取得了第一名。

    Jun, 2021

  • 基于时间提案演化的精准时间动作定位

    提出了一个基于三阶段框架的行动定位方法，包括一个 Actionness 神经网络来生成初始提议，一个 Refinement 网络来进行边界调整，以及一个 Localization 网络进行精细定位回归。在 THUMOS14 基准测试中表现优异，尤其是在高 IoU 阈值下的精确定位方面表现出色，mAP@IoU=0.5 达到 34.2%。

    Apr, 2018

  • 学习显著边界特征以实现无锚定时间行为定位

    本文提出了第一个完全基于无锚点的时间定位方法，该模型通过使用一种基本的可训练推荐器、一个基于显着性的细化模块以及若干一致性约束来实现。实验证明，我们的方法在 THUMOS14 上击败了所有锚点和动作导向方法，取得了最先进的结果，在 ActivityNet v1.3 上取得了可比较的结果。

    Mar, 2021

  • 基于骨架数据的共现特征学习，在层次聚合中进行动作识别和检测

    本文提出了一种用于骨架动作识别的卷积共现特征学习框架，其中不同层次的上下文信息逐步聚合，并使用全局空间聚合方案和两流范例来整合原始骨架坐标及其时序差异。实验证明，我们的方法在行动识别和检测基准测试中持续优于其他最新技术。

    Apr, 2018

  • 动作搜索：在视频中识别动作及其在时间动作定位中的应用

    本文提出了基于观察视频小部分来查找视频中特定动作的新问题：视频中的动作识别，并使用递归神经网络模仿人类查找动作的方式，同时建立了 Human Searches 数据集，从中得到人类注释者的行为数据，用于解决动作识别中缺乏数据的问题，实验表明，该模型不仅能够在观察视频的平均 17.3％的情况下高效地探索视频，还能以 30.8％的平均精度准确地找到人类活动。

    Jun, 2017

  • RefineLoc: 弱监督行动定位的迭代改进

    本文提出一种基于迭代精化方法的弱监督时间动作定位模型 RefineLoc，能够通过估计和训练片段级伪标签来定位视频中动作的发生时间，经实验证明此方法可以显著提高现有弱监督时间动作定位方法的性能。

    Mar, 2019

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 单次拍摄时间动作检测中解耦定位和分类

    本研究提出一种新的解决视频时序动作检测单级方案的方法 - Decoupled Single Shot temporal Action Detection (Decouple-SSAD)，通过在并行中设计两个单独的分支来实现定位和分类的解耦，从而提高训练效果。该方法在 THUMOS14 数据集上进行了广泛实验，证明了其优越性能。

    Apr, 2019

  • CoLA: 弱监督下用片段对比学习进行时间动作定位

    本文提出了一种基于 Snippet Contrastive learning 和 Hard Snippet Mining 的弱监督视频动作定位模型，弥补了传统模型单独处理每个片段的不足，使得模型能更准确地定位动作并取得了当前最先进的结果。

    Mar, 2021

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020