CVPRApr, 2021

弱监督时间动作定位的动作单元记忆网络

PDF
TL;DR本文提出 Action Unit Memory Network (AUMN)，通过学习行动单元存储器解决仅具有视频级别标签的未修剪视频中行动的检测和定位问题。AUMN 具有两个注意模块和三种有效机制，能够适应地更新存储器网络和学习特定的行动单元分类器，实验结果表明在两个标准基准测试上性能优越。
weakly supervisedtemporal action localizationmemory networkattention modulesaction units
发现论文，激发创造
  • ACM-Net: 弱监督时间动作定位的动作上下文建模网络

    本文提出了一种称为 ACM-Net 的动作上下文建模网络，它在体现动作实例、上下文和非动作背景部分的同时，采用了三分支注意模块来给每个时间点分手概率，并构建了三分支类激活序列来分别表示这三部分，通过在 THUMOS-14 和 ActivityNet-1.3 上的实验证明了这种方法能够胜过当前最先进的方法，甚至能够与完全监督方法达到可比较的性能水平。

    Apr, 2021

  • 稀疏时域池化网络弱监督动作定位

    该篇论文提出了一种利用卷积神经网络进行弱监督时间动作定位的算法，其通过学习视频级别的类标签来预测人类动作的时间区间，利用注意力模块鉴别与目标动作有关的重要片段，并通过自适应时间池化融合这些关键片段，同时在损失函数中考虑视频级别的动作分类误差和这些关键片段的稀疏性，利用类别激活和类别无关的注意力在推断时提取和评分时间建议，以估计与目标动作对应的时间区间，在 THUMOS14 数据集上取得了最先进的结果，并具有卓越的 ActivityNet1.3 性能。

    Dec, 2017

  • 使用深度度量学习进行弱监督时序动作定位

    本文介绍了一种弱监督的时间动作定位方法，该方法只需要视频级别的动作实例作为训练数据，在视频的每个片段中生成行为标签，并学习不同动作实例之间的相似性，实验表明该方法在两个视频数据集上取得了有竞争力的结果。

    Jan, 2020

  • 一种用于弱监督时序动作定位的混合注意机制

    本论文提出了一种名为 HAM-Net 的新颖框架，该框架采用混合注意机制来解决现有方法中存在的问题，包括对背景活动的建模和完整性的捕捉，实验证明其在多个数据集上均取得了最新的最佳性能。

    Jan, 2021

  • 基于不确定性建模进行弱监督时序动作定位

    该论文提出了一种新的关于背景帧的观点，在这个观点中，背景帧是关于其不一致性的离群样本，通过学习不确定性，背景帧可以被检测出来，而这种不确定性的学习是通过多实例学习实现的，进一步引入了一个背景熵损失以更好地鉴别背景帧。研究表明，我们的不确定性建模可以有效地减轻背景帧的干扰，并且在 THUMOS'14 和 ActivityNet（1.2 和 1.3）基准测试上取得了明显优于最先进方法的性能表现。

    Jun, 2020

  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • 层次结构潜在注意力建模的弱监督动作定位

    本文提出了一种基于注意力机制的分层结构潜在模型，用于学习特征语义的时间变化，通过两个组件进行实现：第一个是无监督的变点检测模块，通过在时间层次中学习视频特征的变化率来检测变点；第二个是基于注意力的分类模型，将前景的变点作为边界来选择。通过在两个基准数据集 THUMOS-14 和 ActivityNet-v1.3 上进行广泛实验，结果表明我们的方法优于当前最先进的方法，并且甚至与全监督方法具有可比较的性能。

    Aug, 2023

  • 级联金字塔挖掘网络在弱监督时序动作定位中的应用

    本文介绍了一种名为级联金字塔挖掘网络的新型体系结构，旨在通过两个有效模块解决弱监督的时间动作定位问题，并在 THUMOS14 和 ActivityNet-1.3 数据集上进行了广泛的实验和验证。

    Oct, 2018

  • 边缘化的平均注意力网络用于弱监督学习

    提出了一种被称为马格林平均注意力网络（MAAN）的方法，其中采用了一种新的边缘化平均聚合（MAA）模块，并学习了一组潜在的判别概率，能够在视频中识别出密集和完整的动作区域。

    May, 2019

  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019