Nov, 2023

AdaFocus：面向长视频动作理解的端到端弱监督学习

PDF
TL;DR开发用于长视频动作理解任务的端到端模型存在显著的计算和内存挑战。为了避免精确注释的需要，我们提出了一种弱监督方法 AdaFocus，它通过估计动作的高峰度和时间位置，从而能够自适应地聚焦于有助于更好训练的动作片段。在三个长视频数据集上的实验证明了其有效性，并且 AdaFocus 与弱监督特征提取流水线结合，显著提高了三个长视频动作理解任务。
end-to-end modelslong-video action understandingweakly supervised methodadafocus frameworkweakly supervised feature extraction pipeline
发现论文，激发创造
  • 基于背景建模的弱监督动作定位

    该研究提出了一种潜在方法，利用注意力模型进行弱监督学习，其可以检测出影片中的动作，而无需特定类别的标签， 并利用弱监督学习进行比较准确的学习和定位，成功地应用于 Instagram 中的不加筛选的视频之间。

    Aug, 2019

  • AdaFocus V2：面向视频识别的空间动态网络的端到端训练

    介绍了一种基于差值插值的补丁选择算法，简化了 AdaFocus 的训练过程并提高了效率，并提出了一种改进的训练方案和条件退出技术，该模型在六个基准数据集上表现出更好的性能。

    Dec, 2021

  • 从未剪辑的视频中识别不确定动作

    本文提出了一种基于视频级别标签进行训练的视频动作识别模型，该模型利用大型图像数据集中训练的逐帧人物检测器，在多实例学习框架内实现。此外，我们使用新的概率多实例学习方法来估计每个预测的不确定性，并在 AVA 数据集上取得了第一个弱监督结果，在 UCF101-24 上获得了弱监督方法的最新成果。

    Jul, 2020

  • 视频动作识别的大规模弱监督预训练

    使用大量网络视频进行预训练能够显著提高三个具有挑战性的公共行动识别数据集的性能，并对弱监督视频行动数据集的构建进行了深入研究。

    May, 2019

  • 使用弱监督为未修剪视频中的行动识别学习可转移的自我关注表示

    提出一种新的基于弱监督框架，通过利用注意力机制定位动作帧同时识别未修剪视频中的动作，利用修剪视频中的信息传递知识来提高分类性能。在 THUMOS14 和 ActivityNet1.3 上经过广泛的实验，实验证明了该方法的有效性。

    Feb, 2019

  • 一种灵活的动作定位训练模型，具有不同程度的监督

    提出了一种基于磁盘聚类的统一框架，它可以处理和结合不同类型的较低需求的弱监督，从视频中监测时空活动，并将其应用于训练设置中的不同类型的监督信号实验结果证明：该模型在 UC101-24 和 DALY 数据集上具有竞争性能，而且与之前的方法相比，使用的监督信号更少。

    Jun, 2018

  • 多层监督的时间动作检测

    研究介绍在视频中训练时序动作检测需要大量标记数据，使用半监督学习和未标记数据可以降低标记成本。提出了一个半监督动作检测任务，设计了无监督前景注意力和信息瓶颈方法来提高性能并评估其在标记，未标记和弱标记数据下的表现。

    Nov, 2020

  • 弱监督下无序动作分割的动作集

    该研究论文介绍了一种弱监督的行为检测和时间分割方法，利用被动数据采集到的行为集合训练模型，以实现自动的视频行为分割和标注。

    Jun, 2017

  • 基于 RNN 的粗细建模弱监督动作学习

    本文提出了一种弱监督学习的方法，结合判别子动作的表示和粗略概率模型，应用于人类行为的动作检测和分类任务中，并在两个基准数据集上进行了评估，展现了在多个弱监督学习任务中的良好性能。

    Mar, 2017

  • 弱监督时序动作分割的混合 RNN-HMM 方法

    提出了一种层次化方法，通过结构化识别来解决从有序动作标签中弱监督学习人类动作的问题，并将一帧 RNN 模型与粗略概率推理相结合，以实现长序列的时间对齐和迭代训练。

    Jun, 2019