AAAINov, 2018

基于时序分离结构的弱监督多动作检测循环网络

PDF
TL;DR本文提出了一种 STAR 网络，用于弱监督多个动作的检测，借助于注意力机制聚合视频片段并使用改进的循环神经网络建立动作之间的时间关系。同时，使用 ST-GradCAM 来生成更精确的时间提案，实验表明本方法在 THUMOS'14 和 ActivityNet1.3 数据集上性能优于现有的弱监督方法，并与全监督方法性能相当。
weakly-supervised multiple action detectionrecurrent neural networktemporal relationshipattention mechanismst-gradcam
发现论文，激发创造
  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 一种基于语义和运动感知的时空转换网络实现动作检测

    本文介绍了一种新颖的时空变换网络，其中引入了几个原创组件以在未修剪视频中检测动作。该网络通过多特征选择性语义注意力模型计算空间和运动特征之间的关联，使用运动感知网络编码视频帧中的动作位置，并采用序列基础的时间注意力模型捕捉动作帧中的异质时间依赖关系，该方法在四个时空动作数据集上优于最先进的解决方案：AVA 2.2、AVA 2.1、UCF101-24 和 EPIC-Kitchens。

    May, 2024

  • 带有序列正则化的手术时间动作感知网络用于阶段识别

    我们提出了一种 Surgical Temporal Action-aware Network with sequence Regularization (STAR-Net) 来更准确地从输入视频中识别手术阶段。通过使用多尺度手术时态行动模块（MS-STA）和双分类器序列正则化（DSR），我们的方法可以有效利用手术行动的视觉特征，并在手术阶段识别方面取得卓越性能。

    Nov, 2023

  • 结构分段网络在时间动作检测中的应用

    本文提出了一种基于结构化分割网络 (SSN) 的新型框架，该框架可以通过一个结构化的时间金字塔模型来建模每个动作实例的时间结构，并通过划分的判别模型有效地区分正面提议和背景或不完整的提议，在 THUMOS14 和 ActivityNet 数据集上表现优于现有方法。

    Apr, 2017

  • 基于 RNN 的粗细建模弱监督动作学习

    本文提出了一种弱监督学习的方法，结合判别子动作的表示和粗略概率模型，应用于人类行为的动作检测和分类任务中，并在两个基准数据集上进行了评估，展现了在多个弱监督学习任务中的良好性能。

    Mar, 2017

  • 弱监督高斯网络用于动作检测

    提出一种新的方法 WSGN，使用弱监督学习从视频中标注人类动作，包括视频级别标签，通过学习视频特定以及数据集范围内的统计信息来预测每个帧对于动作类别的相关性，可在两项标准测试中显著提高动作检测效果并且在 Charades 数据集上弱监督方法与有监督方法之间只有 0.3% mAP 的差距。

    Apr, 2019

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021

  • 弱监督环境下的对抗生成种子序列进行时序动作定位

    本文提出了一种用弱监督方法实现动作检测的新型框架，该框架由两个模块组成，第一个模块是种子序列生长网络，第二个模块是矿化普通或不完整的动作区域的分类器；通过对这两个模块的对抗式学习，该框架可以获得比现有方法更优异的性能。

    Aug, 2019

  • 弱监督下无序动作分割的动作集

    该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

    Jun, 2017